بررسی سوگیری در سوالات درک مطلب آزمون مقطع دکترای رشته زبان انگلیسی تحت سنجش تشخیصی شناختی

نوع مقاله : علمی پژوهشی(عادی)

نویسندگان

1 دانشجوی دکتری آموزش زبان انگلیسی، دانشکده زبانهای خارجی، دانشگاه آزاد اسلامی تهران مرکزی، تهران، ایر

2 استادیار آموزش زبان انگلیسی، دانشکده زبانهای خارجی، دانشگاه آزاد اسلامی علوم و تحقیقات، تهران، ایران

3 دانشیار آموزش زبان انگلیسی، دانشکده زبانهای خارجی، دانشگاه آزاد اسلامی تهران مرکزی، تهران، ایران

4 استادیار سنجش و اندازه گیری، دانشگاه خوارزمی ، تهران، ایران

چکیده

در چند دهه اخیر، بررسی سطح توانایی در آزمون های سرنوشت ساز از دیدگاه سنجش تشخیصی شناختی مورد توجه محققان ارزشیابی و سنجش و اندازه گیری قرار گرفته است. در این راستا، مدل های تشخیصی شناختی میزان تسلط و عدم تسلط آزمودنی ها را با خصیصه های چندگانه مورد بررسی قرار می دهد. بدین منظور، هدف تحقیق حاضر بررسی کنش افتراقی سوال و کنش افتراقی خصیصه در آزمون ورودی زبان عمومی مقطع دکترای زبان انگلیسی می باشد. بنابراین، 3220 آزمودنی دختر و پسر
از جامعه آماری شرکت کننده در آزمون سازمان سنجش کشور به صورت تصادفی انتخاب شدند. در مدل اکتشافی داده ها، مراحل کیفی و کمی به ترتیب اجرا شده است. سپس از ماتریس کیو ساخته شده به وسیله پروتکل تفکر با صدای بلند استفاده شد تا داده ها با استفاده از بسته آر استودیو تجزیه و تحلیل شوند. مدل جی دینا تحت سنجش تشخیصی شناختی قرار گرفته و نتایج بدست آمده از کنش افتراقی سوال، سوگیری در سوالات را گزارش داده است.

کلیدواژه‌ها


عنوان مقاله [English]

Test Fairness Analysis in Reading Comprehension PhD Nationwide Admission Test Items under CDA

نویسندگان [English]

  • Niloufar Shahmirzadi 1
  • Masood Siyyari 2
  • Hamid Marashi 3
  • Masoud Geramipour 4
1 PhD Candidate in Applied Linguistics, Islamic Azad University, Central Tehran Branch, Tehran, Iran
2 Assistant Professor of Applied Linguistics, Islamic Azad University, Science and Research Branch, Tehran, Iran
3 Associate Professor of Applied Linguistics, Islamic Azad University, Central Tehran Branch, Tehran, Iran
4 Assistant Professor of Assessment and Measurement, Kharazmi University, Tehran, Iran
چکیده [English]

During the past few decades, documentation of test takers’ proficiency level has been accomplished through large-scale assessments most importantly Cognitive Diagnostic Assessment (CDA) in order to provide skills mastery profile of test takers in fine-grained detailed information. Accordingly, the present study attempts to scrutinize reading comprehension test items of a high-stakes test under CDA. To delve into this issue, DAF was used to detect the probability of mastery of attributes among test takers, and DIF was applied to show item performance among different candidates in terms of gender. Thus, the participants of this study were 3220 females and males attending PhD national admission test in Iran. Through adopting sequential exploratory mixed method design, GDINA model was run by the application of R-studio package. Results of the study revealed that test items suspected DIF against female. In the end, the findings of this study were discussed in light of their implications for language testing community to perceive potential social harm which derived from biased test items in PhD national admission exams.

کلیدواژه‌ها [English]

  • Reading comprehension
  • DIF
  • Daf
  • CDA
  • PhD National Admission Exam