سنجش

سنجش و اندازه گیری در علوم رفتاری

سنجش

سنجش و اندازه گیری در علوم رفتاری

سنجش شناختی-تشخیصی (cognitive diagnostics assessment-CDMs)

سنجش شناختی-تشخیصی به منظور اندازه­گیری ساختارهای دانش ویژه و مهارت­های پردازش در فراگیران تدوین شده است تا اطلاعاتی در مورد نقاط قوت و ضعف شناختی فراهم آورد. سنجش شناختی-تشخیصی هنوز در ابتدای راه است، اما پایه آن به خوبی تدوین شده است. در سال 1980 دو فصل از کتاب اندازه­گیری روبرت لین شروعی برای تمایل و نیاز زیاد به سنجش شناختی-تشخیصی بود. فصل روایی سامویل مسیک و فصل آخر اسنو و دیوید لوهمانز، دلالت­های روانشناسی شناختی برای اندازه­گیری آموزشی، به یکپارچه کردن همراهی روانشناسی شناختی در اندازه­گیری آموزشی کمک کرد.

مدل­های شناختی-تشخیصی به منظور ارایه اطلاعات مورد نظر به صورت نیمرخ­های نمره که محدودیت مدل­های نظریه سوال-پاسخ را رفع می­کند، تدوین شده اند. انواع مختلف مدل­های شناختی-تشخیصی در ادبیات اندازه­گیری ارایه شده است. به طور کلی این مدل­ها، وضعیت­های مختلف مورد نظر محققان (مثل انواع سازه، پاسخ، و بعدیت) در روانسنجی و علوم شناختی و یادگیری را پوشش می­دهند. به دلیل محبوبیت این مدل­ها، مطالعاتی در میان محققان به منظور درک و یکپارچه کردن این مدل­ها انجام شده است. انواع مختلفی از مدل­های تشخیصی-شناختی در ادبیات وجود دارد و در عمل نیز استفاده شده است. برای مقایسه این مدل­ها، سه متغیر را می­توان مد نظر قرار داد: متغیر پاسخ­های دو ارزشی و چندارزشی، متغیر مکنون دو ارزشی و چندارزشی و متغیر گروه­بندی جبرانی یا غیر جبرانی صفت مکنون.

الگوهای خاص صفت، مهارت و عدم مهارت طبقه­ها یا گروه­های مکنون را که بر اساس آن مدل­های شناختی-تشخیصی، آزمودنی­ها را طبقه بندی می­کند را تعریف می­کند. به دلیل این­که صفت­ها و بنابراین طبقه­ها قبل از تحلیل تعریف می­شوند، این مدل­ها، مدل­های طبقه مکنون تاییدی هستند که طبقه بندی آزمودنی­ها بر اساس پاسخ به سوالات تعیین می­شود. به دلیل ماهیت تاییدی این مدل­ها، تدوین یک آزمون تشخیصی ابتدا مستلزم صفاتی است که به وسیله تحقیقات شناختی برای حیطه مورد نظر مهم تشخیص داده شده است، می باشد. سپس، هر سوال آزمون برای اندازه­گیری یک یا چند صفت طراحی می­شود. به دلیل این­که یک سوال می­تواند بیش از یک صفت را اندازه گیری کند، چند بعدی بودن درون و بین سوالات وجود دارد. همخوانی سوال-صفت در ماتریس کیو ارایه می شود. ماتریسی که در آن 1 نشان می­دهد که یک سوال یک صفت را اندازه­گیری می­کند و درایه صفر بدین معناست که آن سوال آن صفت را اندازه­گیری نمی­کند. دقت طبقه­بندی مدل­های شناختی-تشخیصی به همخوانی درست سوالات با صفات بر می­گردد، به گونه­ای که تعیین نادرست ماتریس کیو منجر به طبقه­بندی غلط می­شود.

هدف اندازه­گیری تشخیصی شبیه تشخیص­های معمول است با این تفاوت که بافتی که در آن اندازه گیری می­شود، رسمی­تر است. مثلاً فردی که باید مورد تشخیص قرار گیرد می­تواند بیماری باشد که در بیمارستان از نظر روانی مورد ارزیابی قرار می­گیرد، فراگیری که در مدرسه به عنوان دانش­آموزی مستعد جایابی می­شود، یا بازیکنی که کالایی را در دنیای مجازی خریداری می­کند. در این­گونه موارد هدف اندازه­گیری شناختی عبارت است از: تشخیص اختلال احتمالی و تعیین اثربخش­ترین برنامه درمانی برای بیمار، شناسایی نقاط قوت و ضعف در حیطه محتوایی خاص و تعیین بهترین راهبرد تمرین برای آن فراگیر، یا تشخیص ویژگی­های رفتار خرید و ارایه راهبردهای بازاریابی برای آن بازیکن. به منظور ارایه نیمرخ دقیق افراد با توجه به ویژگی­های مورد نظر در این موقعیت، سوالاتی به طور خاص طراحی می­شود، یا تکالیفی به این افراد ارایه می­شود و پاسخ­های فرد و رفتارهای مرتبط به آن ثبت می­شود. رفتارها می­تواند شامل پاسخ­های کلامی به سوالات باز پاسخ توسط بیمارباشد، پاسخ­های کتبی به سوالات چند گزینه­ای توسط فراگیر باشد، یا پیگیری فعالیت­ها در محیط­های اجباری توسط بازیکن باشد.

مدل­های طبقه­بندی شناختی، زیر مجموعه­ای از مدل­های روانسنجی هستند که افراد را بر اساس متغیرهای مکنون طبقه­ای چندگانه طبقه­بندی می­کنند. پایه­ طبقه­بندی در این مدل­ها بر اساس داده­های پاسخ مشاهده شده که از طریق سنجش تشخیصی جمع آوری شده­اند، است. این مدل­ها مکانیسمی برای بررسی داده­های جمع­آوری شده، ارایه می­دهند. اگر طبقه­بندی­ها، درک مهمی از ویژگی­های مکنون افراد را تایید کند پس استفاده از این مدل­ها می­تواند تحلیل­های عملی مفیدی را فراهم کند. این مدل­ها ابزاری تدوین می­کنند که تحلیل­هایی که در آن انواع رفتار افراد وابسته به الگوی داده­ها با وزن­های مختلف است را ممکن می­سازد. اما انتخاب این که چگونه الگوهای رفتاری تدوین شده اند (تصمیم­گیری در مورد این که چه صفاتی باید ارایه شوند، چه اطلاعاتی باید استخراج شود، چگونه باید اطلاعات استخراج شده را به صورت خروجی برای یک مدل آماری کدگذاری کرد) تنها ملاحظه­ای است که تدوین کننده سنجش شناختی باید مد نظر قرار دهد. صفت­ در این مدل­ها نشان دهنده سازه­ای مثل دانش یا بیماری روانی است و طبقه بندی افراد بر اساس صفات است. صفات از متغیرهای پنهان طبقه ای مشتق می­شوند، بنابراین لازم است که طبقه بندی از نظر آماری از داده­های قابل مشاهده پاسخ دهندگان استنباط شود. این مدل­ها، همبستگی آماری را ارایه می­دهند.

راپ و تمپلین (2008) نه ویژگی اصلی که می­تواند برای مقایسه مدل­های شناختی-تشخیصی با دیگر مدل­های متغیر مکنون مورد استفاده قرار گیرد را فهرست کردند. برخی از آن­ها عبارت است از: 1)ماهیت چندبعدی­شان، 2)ماهیت تاییدی بودنشان، 3)پیچیدگی ساختار عاملی­شان و 4) ماهیت تشخیصی بودن تفسیرهای­شان. مدل­های تحلیل عاملی و نظریه سوال-پاسخ وقتی مورد استفاده قرار می­گیرد که ساختارهای بارگذاری ساده­تر است (مثلاً هر سوال فقط بر روی یک بعد بار دارد.)، اما مدل­های شناختی-تشخیصی دارای ساختارهای پیچیده بارگذاری هستند که معمولاً مستلزم چندین توانایی به هم مرتبط هستند.

در این مدل­ها، پیوستار مفروض به دو دسته مجرا مثل ماهر یا غیرماهر در زمینه­های آموزشی و اختلال داشتن یا اختلال نداشتن در زمینه روانشناسی بالینی تقسیم می­شود . ویژگی­­هایی که احتمال­شان بیش­تر از 5/. است را به عنوان تشخیص مثبت (یعنی ماهر)، و ویژگی­های که کم­تر از 5/. هستند به عنوان تشخیص منفی (غیرماهر) در نظر گرفته می­شوند. احتمال­های نزدیک به 5/. نشان دهنده آن هستند که متغیرهای مشاهده شده، اطلاعات کافی ارایه نمی­دهد تا بتوان بر اساس آن تشخیص روشنی ارایه داد و طبقه­بندی را به شدت مبهم می­کند. هدف اصلی این مدل­ها، تشخیص است و این ویژگی استفاده از این مدل­ها برای داده­های حاصل از سنجش تشخیصی را از استفاده از مدل­های تحلیل عاملی تاییدی و نظریه سوال-پاسخ برای داده­های حاصل از ارزشیابی جایابی، پذیرش و گواهینامه متفاوت می­کند. سنجش شناختی-تشخیصی برای معلمان، والدین و مسوولین آموزشی که متمایلند میزان اطلاعاتی را که دانش آموزان در آن مهارت کسب کرده اند را بدانند، مفید هستند.

با وجود اهمیت مدل­های شناختی-تشخیصی، مباحث مهم و محدودیت­هایی در استفاده از این مدل­ها وجود دارد که نیاز به بحث دارد. مهم­ترین مبحث، بحث روایی است. روایی نتایج در این مدل­ها به نظریه زیربنایی آن­ها بستگی داد. بخصوص اگر تعریف معیارها دقیقاً مشخص نشده باشد یا اگر این معیارها به تشخیص مربوط نباشد، نتایج حاوی اطلاعات تشخیصی با روایی کم خواهد بود. البته این دغدغه به طور کلی در مورد مدل­های متغیر پنهان وجود دارد. در استفاده از اطلاعات تشخیصی حاصل از مدل­های شناختی-تشخیصی باید مد نظر قرار گیرد که دانشی که بر اساس نتایج به دست می آید به این بستگی دارد که تا چه حد نظریه زیربنایی مبتنی بر واقعیت است. علاوه بر روایی، تدوین ماتریس کیو که تعریف معیارهای مورد اندازه­گیری را ارایه می­دهد نیز یکی دیگر از دغدغه­های این مدل­هاست. کیفیت برازش مدل شناختی-تشخصی به کیفیت ماتریس کیو استفاده شده در تحلیل بستگی دارد. تعریف این ماتریس باید زیربنای نظری حیطه ابزار را با نتایج تجربی تحلیل ترکیب کند. شاید مهم­ترین نکته در نتایج این مدل­ها، تصدیق بیرونی براوردهای تشخیصی است. ساخت ابزار برای اهداف تشخیصی باید به کمک اندازه­های روایابی بیرونی انجام شود. به زعم تاتسوکا (2005) "در حالت واقعی، سه واژه مهم عبارت است از موقعیت، موقعیت و موقعیت. در مدل­یابی تشخیصی، سه واژه مهم عبارت است از روایابی، روایابی و روایابی." روایابی بیرونی، تفسیر برآوردهای تشخیصی نتایج مدل شناختی-تشخیصی را را مطمین می­سازد. این مدل­ها را می­توان با ابزار­های موجود به کار برد ولی باید توجه کرد در بسیاری از موارد پرسشنامه­ها، گویه­های طرح شد به منظور استفاده از مدل تحلیل عاملی تاییدی (با یک ساختار ساده) به منظور اندازه­گیری ملاک­های مکنون در یک پیوستار و نه در یک طبقه­بندی تدوین شده اند. مشکلاتی مشابه نیز در استفاد از این مدل­ها در اندازه­گیری آموزشی وجود دارد زیرا این آزمون­ها برای تحلیل در مقیاسی تک بعدی طراحی شده اند. معمولاً این آزمون­ها با انتخاب سوال­هایی حداکثر اطلاعات را با توجه به پیوستار مکنون ارایه می­دهد. طبقه بندی بر اساس یک پیوستار مکنون می­تواند منجر به برآوردهایی شود که در آن افراد زیادی یا همه صفات را دارند و یا هیچ کدام را ندارند. در این­گونه موارد، همه همبستگی­های بین صفات (بر اساس مدل ساختاری) واحد (تمایل به این­که یک پیوستار زیربنای داده­هاست) می­شوند.

در مقایسه با مدل­های نظریه پاسخ-سوال چند بعدی (MIRT)، این مدل­ها در هر بعد به سوال­های بسیار کم­تری برای کسب برآوردهای پایا نیاز دارد (تمپلین و برادشاو، 2013). مدل­های نظریه پاسخ-سوال چند بعدی مستلزم سوال­های بیشتری هستند و شاید یکی از دلایل غالب ماندن مدل­های تک بعدی در آموزش علی رغم نیاز دولت­ها و نیاز معلمان  به مدل­های نظریه سوال-پاسخ چند بعدی برای گرفتن بازخوردهای دقیق و ظریف، همین مطلب باشد.

اهمیت مدل­های شناختی-تشخیصی در مقایسه با نظریه کلاسیک آزمون و نظریه سوال-پاسخ از آن­جا ناشی می­شود که در این مدل­ها نیمرخ دانش آموزان ارایه می­شود که در آن مجموعه­ای از مهارت­های یا صفت­های دو ارزشی که فرد در آن به مهارت رسیده یا نرسیده است نمایش داده می­شود. نیمرخ­های صفات گسسته، اطلاعاتی در مورد نیازهای گروهی از دانش آموزان در اختیار معلم قرار می­دهد (برخلاف مدل­های نظریه سوال-پاسخ چند بعدی که پروفایلی از نمرات ارایه می­دهد).

نظرات 0 + ارسال نظر
امکان ثبت نظر جدید برای این مطلب وجود ندارد.