دانشگاه تهران پژوهشهای زبانشناختی در زبانهای خارجی 2588-4123 3 1 2013 03 21 Comparing Reliability and Item Difficulty of Multiple-Choice and Translation Questions on a Test of Grammatical Knowledge مقایسة سؤال‌های چندگزینه‌ای و ترجمه‌ای از لحاظ پایایی و دشواری در آزمون دانش دستوری 117 133 53766 10.22059/jflr.2013.53766 FA حامد زندی دکترای آموزش زبان انگلیسی از دانشگاه تهران، مدرس دانشگاه تحصیلات تکمیلی در علوم پایة زنجان، ایران شیوا کیوان پناه دانشیار، گروه زبان و ادبیات انگلیسی، دانشکدة زبان‏ها و ادبیات خارجی، دانشگاه تهران، تهران، ایران سید محمد علوی دانشیار، گروه زبان و ادبیات انگلیسی، دانشکدة زبان‏ها و ادبیات خارجی، دانشگاه تهران، تهران، ایران Journal Article 2013 07 17 Multiple-choice questions are commonly employed for testing language<br />knowledge. However, since in the recently proposed systematic approach to<br />item writing, using various item formats is desirable and there is very few<br />researches on the possibility of using translation items for giving variety to<br />items on a test. The present study aims at comparing reliability and item<br />difficulty of translation and multiple-choice item formats on a test of<br />grammatical knowledge. First, the specifications of the tests were composed of<br />two sections: one with translation items and the other with multiple-choice<br />items, and then reviewed by eight English teachers with some experience in<br />language testing. Then, the specifications were revised according to the<br />feedback. The test for the present study was prepared, and administered to 158<br />English learners with mixed proficiency levels. The data was analyzed using<br />both classical test theory and Rasch model. The results indicated that both item<br />formats had good reliability (r translation section = 0.88, r multiple-choice<br />section = 0.84). Also, generally, the items showed good fit in Rasch model.<br />Furthermore, an independent t-test did not find a significant difference between<br />two formats in terms of item difficulty (t= 1.696, df= 58, P>0.95). Therefore,<br />based on the finding of the study, it is suggested that, in a systematic approach<br />to item writing, translation item format can be employed alongside multiple –<br />choice item format for measuring grammatical knowledge.<br /><br /> به طور معمول از سؤال‌های چندگزینه‌ای برای سنجش دانش زبانی استفاده می‌شود. اما از آنجا که در رویکرد نظام‌مند طراحی سؤال، که جدیداً مطرح شده است (شین، 2012)، استفاده از صورت‌های متنوع برای طراحی سؤال مطلوب است، همچنین به دلیل اینکه تحقیقات بسیار اندکی در مورد امکان استفاده از سؤال‌های ترجمه‌ای برای تنوع بخشیدن به سؤال‌های آزمون وجود دارد، پژوهش حاضر با هدف مقایسة دو کمیت پایایی و دشواری در صورت سؤال ترجمه‌ای و چندگزینه‌ای برای سنجش دانش دستوری طراحی شده است. ابتدا، سند مشخصات آزمون دارای دو بخش ترجمه‌ای و چندگزینه‌ای را هشت مدرس زبان با تحصیلات کارشناسی‌ارشد و دکتری بررسی کردند. بر اساس بازخورد آن‌ها، آزمون مورد استفاده در این پژوهش تهیه و با 158 فراگیر زبان انگلیسی با توانش‌های مختلف برگزار شد. داده‌های آزمون در چارچوب نظریة کلاسیک آزمون و نیز مدل راش تحلیل شد. نتایج به‌دست آمده حاکی از آن است که هر دو صورت سؤال دارای پایایی خوب بود (884/0 = آلفای کرونباخ بخش ترجمه‌ای و 845/0= آلفای کرونباخ بخش چندگزینه). براساس مدل راش، تمامی سؤال‌ها از نظر شاخصه‌های برازش، مطلوب ارزیابی شد. به‌علاوه، آزمون تی مستقل تفاوتی میان دشواری این دو صورت سؤال نشان نداد (696/1=t، ۵۸= df، ۰۹۵/0= P آزمون دو دامنه). بنابراین، به نظر می‌رسد بتوان از صورت ترجمه‌ای در کنار صورت متداول چندگزینه‌ای در رویکردی نظام‌مند برای طراحی سؤال‌های دانش دستوری استفاده کرد.   https://jflr.ut.ac.ir/article_53766_a20f38cf27897075520acf22a08b7988.pdf