مقاله جدید

 سنجش شناختی تشخیصی: مرور انتقادی مطالعات ایرانی 

نویسندگان:  مریم محسن پور* ،  اعظم مقدم ،

نشریه پژوهش های کاربردی روانشناختی » دوره 12، شماره 2 (تابستان 1400)

کلیدواژه: سنجش شناختی تشخیصی ، صلاحیت ، ماتریس کیو ، مدل طبقه بندی تشخیصی ، مرور انتقادی

چکیده:
در چند دهه اخیر، به منظور سنجش عملکرد دانش آموزان، سنجش شناختی تشخیصی در میان پژوهشگران آموزشی محبوبیت فراوانی پیدا کرده، اما کاربرد آن با انتقادهایی مواجه شده است. با توجه به گرایش پژوهشگران ایرانی به این نوع سنجش، مطالعه حاضر با هدف مرور نقادانه پژوهش های ایرانی در این حوزه، به منظور تحلیل مباحث مربوط به بخش روش آن ها انجام شده است. برای این منظور، جست وجویی جامع در بانک های اطلاعاتی شامل ایرانداک، پایگاه داده های علمی جهاد دانشگاهی، گوگل اسکالر، اسکوپوس، نور، مگ ایران و موتور جست وجوی علم نت و با استفاده کلمات کلیدی «سنجش شناختی تشخیصی»، «مدل شناختی تشخیصی»، «مدل طبقه بندی تشخیصی» و «تحلیل تشخیصی» صورت گرفت و 23 پژوهش شناسایی شدند. با توجه به ملاک های ورود و خروج مطالعات، 20 پژوهش در بازه زمانی 1399-1393 انتخاب شدند. در گام بعدی، این پژوهش ها را پژوهشگران مطالعه به طور مستقل و با استفاده از نشانگرهای دستورالعمل توصیه شده از سوی سسومز و هنسون (2018) ارزیابی کردند. نشانگرها شامل تمرکز موضوعی پژوهش ها، تعداد صلاحیت ها، سازه مورد اندازه گیری، ساختار سوال های آزمون ها، ماتریس کیو، نوع مدل آماری، برازش مدل، برازش سوال، نوع سوال، حجم نمونه، شواهد پایایی و روایی، توصیف صلاحیت ها (طبقه های پنهان، هم بستگی بین صلاحیت ها، نیم رخ صلاحیت) و کاربست یافته ها بود. یافته ها حاکی از واردبودن برخی انتقادها مانند برقرارنبودن مفروضات از قبیل هم پوشانی بالای صلاحیت های شناختی، نبود شواهد پایایی و روایی کافی، ارایه نکردن نیم رخ صلاحیت ها و بازخورد به ذی نفعان در بیشتر مطالعات بود. درمجموع رهنمودهایی برای بهبود کیفیت کاربرد این مدل ها ارایه شده است.

معرفی کتاب سنجش شناختی (تاتسوکا، 2009)

این کتاب مقدمه ای بر روش فضای قاعده است که دارای 10 فصل و 344 صفحه است. در زیر فهرست محتوای این کتاب ارائه شده است:

1.Dimensionality of Test Data and Aberrant Response Patterns.

2.Parametric Person-fit Statistics, Zeta z and Generalized Zetas z1,... zm.

3.Cognitive Modeling by Developing an Incidence Matrix Q.

4.Knowledge Space generated from a Q-matrix.

5.A Classification Space: Rule Space as a Cartesian Product of the Person Parameter q in Item Response Theory, z and Generalized Zetas.

6.Classification Rules.

7.Rule Space Decision Rules and Attribute Mastery Probabilities.

8.Posterior Probabilities with Different Prior Probabilities and Their Effect on the Attribute Mastery Probabilities.

9.Reliability of Items, Persons, and Their Relationship to the Classical Test Theory.

10.Validation of Attributes, a Q-Matrix Coded by the Involvement of Attributes to Items and a Test.

Invite Link: https://t.me/joinchat/AAAAAECgmE7jKdENSESJfQ

روش شناسی فضای قاعده-Rule-Space Methodology

The RSM (e.g., Tatsuoka, 1983, 1995, 2009) can be used to model dichotomously and polytomously scored items, but is restricted to dichotomous attribute classifications (i.e., mastery vs. non-mastery).

The rule-space approach for classification represents a conjunctive non-compensatory assumption in that all measured attributes have to be mastered to correspond correctly to an individual item.

The RSM is a pattern classification approach, not a fully probabilistic model that consists of two distinct steps.

In the first step, a traditional unidimensional IRT model is estimated, and the estimates from the IRT model are saved for use in the second step. Consequently, information about the attribute structure of the assessment is not used at all at this stage.

In the second step, the respondents are classified into one of the attribute profiles using a multivariate distance measure.

نکات مربوط به روش شناسی فضای قاعده (RSM):

1-برای سوالات دو ارزشی و چند ارزشی استفاده می شود.

2-آزمودنی ها را فقط به دو گروه مسلط یا غیر مسلط طبقه بندی می کند.

3-یک مدل غیر جبرانی است.

4-یک رویکرد طبقه بندی است نه یک مدل کاملا احتمالاتی.

5-تحلیل در دو گام انجام می شود.

Invite Link: https://t.me/joinchat/AAAAAECgmE7jKdENSESJfQ

کاربرد مدل های شناختی تشخیصی در زبان انگلیسی

مروری بر مطالعه­های انجام شده در زمینه زبان دوم با استفاده از مدل­های تشخیصی شناختی

نویسنده	سال	موضوع	آزمون	مدل	تعداد سوال	تعداد مهارت­	حجم نمونه
باک و تاتسوکا	1998	درک شنیداری	کالج ژاپن	فضای قاعده	35	15	412
ژنگ	2005	درک مطلب	تافل	ترکیبی	37	9	2703
روگر	2007	درک مطلب	میلب	رگرسیون درختی	20-فرم 1 20-فرم 2	10	1703-فرم 1 1044-فرم 2
فن داویر	2008	درک مطلب	تافل	کلی	39-فرم 1 40-فرم 2	4	2720-فرم 1 419-فرم 2
فن داویر	2008	درک شنیداری	تافل	کلی	34-فرم 1 34-فرم 2	4	2720-فرم 1 419-فرم 2
ژنگ	2009	درک مطلب	تافل	ترکیبی	37	9	2703
لی و ساواکی	2009	درک مطلب	تافل	ترکیبی		4
لی و ساواکی	2009	درک شنیداری	تافل	ترکیبی
لی	2011	درک مطلب	میلب	ترکیبی	20	5	2019
کیم	2011	مهارت نوشتاری	تافل	ترکیبی	35 توصیفگر	5	480
کیم	2012	درک مطلب	برنامه انگلیسی انجمن	ترکیبی		10
راوند و همکاران	2012	درک مطلب	آزمون ورودی	دینا	34	5	1500
فنگ	2013	دستور زبان	گواهینامه مهارت در زبان انگلیسی	ترکیبی دینا	28	3	2922
تمپلین و هفمن	2013	دستور زبان	گواهینامه مهارت در زبان انگلیسی	لگ خطی	28	3	2922
فنگ و همکاران	2013	دستور زبان	گواهینامه مهارت در زبان انگلیسی	ترکیبی دینا	28	3	2922
فن داویر	2014	دستور زبان	گواهینامه مهارت در زبان انگلیسی	لگ خطی کلی	28	3	2922
ما و منگ	2014	درک شنیداری	ای اف ال	جی-دینا	18	9	341
لی و سون	2014	درک مطلب	میلب	ترکیبی	20	5	2019

پکیج روش های ناپارامتریک برای تشخیص شناختی (NPCD) در نرم افزار R

با استفاده از پکیج روش های ناپارامتریک برای تشخیص شناختی  می توان روش های برآورد پارامتریک و غیرپارامتریک برای مدل های شناختی-تشخیصی مثل طبقه بندی ناپارامتریک پروفایل های صفت آزمودنی، برآورد بیشینه درستنمایی مشترک پروفایل های آزمودنی و پارامترهای سوال و روش های ناپارامتریک ماتریس کیو و برآورد بیشینه درستنمایی شرطی برای پروفایل های صفت آزمودنی با فرض پارامترهای سوال و برآورد بیشینه درستنمایی شرطی با فرض پروفایل های صفت آزمودنی، را مورد استفاده قرار داد. در این پکیج روش های ناپارامتریک شامل مدل های عطفی و غیرعطفی و روش های پارامتریک شامل مدل های DINA، DINO، NIDA، G-NIDA و R-RUM می شود.