ارزیابی کمی و کیفی بخش واژگان آزمون کارشناسی ارشد زبان انگلیسی: یک اعتبارسنجی مبتنی بر استدلال

نوع مقاله : علمی پژوهشی(عادی)

نویسنده

گروه زبانهای خارجه، دانشکده علوم انسانی و هنر، دانشگاه حضرت معصومه (س)، قم، ایران

10.22059/jflr.2025.394038.1207

چکیده

علیرقم تحقیقات فراون بر روی آزمونهای ورودی دانشگاه، بخش واژگان آزمون کارشناسی ارشد رشته های زبان انگلیسی، که مورد انتقاد بسیاری از داوطلبین و اساتید می باشد، به طور جامع و مجزا مورد ارزیابی قرار نگرفته است. تحقیق حاضر تلاش می کند بخش واژگان آزمونهای پنج سال اخیر را از طریق اعتبارسنجی مبتنی بر استدلال مورد ارزیابی قرار دهد. شرکت کنندگان 194 دانشجوی کارشناسی زبان انگلیسی، 24 دانشجوی کارشناسی ارشد، 16 استاد دانشگاه و شش بومی زبان انگلیسی بودند که به سوالات بخش واژگان و آزمون اندازه واژگان، به عنوان آزمون معیار، و یک پرسشنامه پاسخ دادند. کلمات بخش واژگان در پیکره های عمومی و تخصصی و لیستهای مهم واژگان بررسی شدند. برای ارزیابی ویژگیهای سوالات و روایی و پایایی آزمون از شیوه های تحلیل سوالات، روایی ملاکی و پایایی درونی (آلفای کرانباخ) استفاده شد و پاسخهای شرکت کنندگان به پرسشنامه مورد ارزیابی کیفی قرار گرفتند. بررسیها نشان داد 49.1 درصد کلمات بسامد مناسبی در پیکره های BNC وCOCA ندارند و 61.1 درصد کلمات در پیکره های تخصصی رشته های زبان انگلیسی وجود ندارند یا بسامد ناچیزی دارند. روایی و پایایی آزمونها به ترتیب 0.32 و 0.48 به دست آمد. بسیاری از سوالات مشکل شاخص دشواری (70% سوالات)، شاخص تمایز (38% سوالات) و توزیع گزینه (58% سوالات) داشتند و شرکت کنندگان عموماً این آزمون را برای پذیرش دانشجویان کارشناسی ارشد مناسب ندانستند. درنتیجه، استفاده از نتایج این آزمون برای پذیرش دانشجویان کارشناسی ارشد موجه و قابل دفاع تشخیص داده نشد. پیامدها، محدودیتها و پیشنهادات برای تحقیقات بعدی بحث خواهد شد.

کلیدواژه‌ها

موضوعات


عنوان مقاله [English]

An Argument-based Validation of the Vocabulary Subtest of MA Entrance Exam for English Majors

نویسنده [English]

  • Mahmood Safari
Foreign Languages Department, Faculty of Humanities and Arts, Hazrat-e Masoumeh University, Qom, Iran
چکیده [English]

Despite ample research on university entrance examinations, the vocabulary section of the M.A. entrance exam for English-related majors in Iran, which has long been criticized by both candidates and lecturers, has not been examined comprehensively and exclusively. The present study aimed to evaluate the vocabulary section of the exam in the past five years through an argument-based validation. The participants included 194 English-major undergraduate students, 24 M.A. students, 16 university professors, and six native speakers of English, who responded to the vocabulary section, a vocabulary size test as a criterion measure, and a questionnaire. The lexical items in the vocabulary sections were analyzed against general and specialized corpora as well as major word lists. To examine item characteristics, test validity, and reliability, the researcher employed item analysis procedures, criterion-related validation, and internal consistency (Cronbach’s alpha), and the participants’ questionnaire responses were analyzed qualitatively. The results indicated that 49.1% of the words were not of appropriate frequency in the BNC and COCA corpora, and 61.1% had no or scant frequency in specialized corpora for English majors. The validity and reliability indices of the test were found to be 0.32 and 0.48, respectively. Many items suffered from problems of item difficulty (70% of the items), item discrimination (38%), and choice distribution (58%), and participants generally deemed the test as unsuitable for admitting M.A. students. Consequently, the use of the test as a criterion for M.A. student admissions was found neither justified nor defensible. Implications, limitations, and suggestions for further research are discussed.

کلیدواژه‌ها [English]

  • Argument-based validation
  • vocabulary test
  • frequency
  • reliability
  • validity
  • difficulty index
  • discrimination index