سنجش

سنجش و اندازه گیری در علوم رفتاری

سنجش

سنجش و اندازه گیری در علوم رفتاری

تفاوت Rayyan و Covidence در بررسی اسناد در مررور نظامند

 

Rayyanیک ابزار رایگان و آنلاین برای پژوهشگران است که کمک می‌کند مقالات علمی را برای مرور نظام‌مند (Systematic Review) سریع‌تر غربال کنند (یعنی تصمیم بگیرند مقاله شامل بشود یا حذف). ساده و کاربرپسند است.


Covidence یک نرم‌افزار حرفه‌ای و پولی برای کل فرایند مرور نظام‌مند است؛ از غربالگری مقالات تا استخراج داده‌ها و ارزیابی کیفی.  بیشتر برای کار تیمی و پروژه‌های پژوهشی رسمی استفاده می‌شود.



جمع‌بندی:


اگر دانشجو یا پژوهشگر فردی هستی و دنبال ابزار رایگان باشید Rayyan کفایت می‌کند.

اگر در تیم پژوهشی یا مرور نظام‌مند رسمی کار می‌کنید Covidence انتخاب بهتری است، چون امکانات بیشتری برای Critical Appraisal و مستندسازی دارد.


 

روند کار با Rayyan  و Covidence:


فرض کنید شما برای پایان‌نامه‌ات ۵۰۰ مقاله از پایگاه‌هایی مثل PubMed و Scopus دانلود کرده اید. حالا می‌خواهید مرور نظام‌مند (Systematic Review) انجام بدهید.


اگر از Rayyan استفاده کنید:


1.    فایل مقالات (RIS, EndNote, Zotero…) رو در Rayyan آپلود می‌کنید.

2.    Rayyan همه مقالات رو لیست می‌کند.

3.    شروع به غربالگری عنوان و چکیده می‌کنید:

o       برای هر مقاله تصمیم می‌گیری: Include (شامل شود)، Exclude (حذف شود) یا Maybe.

o       می‌توانید دلیل حذف رو به صورت برچسب بنویسید.

4.    بعد از غربالگری، لیست مقالات انتخاب‌شده رو خروجی می‌گیرید.
Rayyan
فقط در مرحله انتخاب مقالات کمک می‌کند.


اگر از Covidence استفاده کنید:


1.    مقالات را وارد Covidence می‌کنید.

2.    مثل Rayyan مرحله غربالگری عنوان/چکیده رو انجام می‌دهید (تیمی یا فردی).

3.    وارد مرحله دوم می‌شوید: Full-text screening (بررسی متن کامل مقاله‌ها).

4.    بعد، بخش ویژه برای ارزیابی کیفیت دارد اینجا می‌توانید چک‌لیست‌هایی مثل CASP رو داخلش اجرا کنید.

5.    در نهایت  در Data Extraction اطلاعات مهم هر مقاله (مثل سال، روش، نتایج) رو در فرم‌های آماده وارد می‌کنید.

6.    نرم‌افزار خروجی ساختارمند می‌سازد که مستقیماً در نوشتن مقاله یا پایان‌نامه قابل استفاده است.
Covidence
کل چرخه مرور نظام‌مند رو پوشش می‌دهد، نه فقط غربالگری.

خلاصه:

  • Rayyan = سریع و ساده، برای غربالگری اولیه عالی است.
  • Covidence = کامل و پیشرفته، از غربالگری تا استخراج داده‌ها و CASP رو پشتیبانی می‌کند.

 

معادل دستی Rayyan:

Rayyanدر اصل برای غربالگری (Screening) مقاله‌هاست.

1.    خروجی جستجوی مقاله‌ها رو از پایگاه‌ها (PubMed، Scopus و...) می‌گیرید (فرمت RIS, CSV یا BibTex).

2.    همه رو در Excel یا EndNote/Zotero/Mendeley وارد می‌کنید.

3.    یک ستون برای تصمیم‌گیری درست می‌کنید (Include / Exclude / Maybe).

4.    برای هر مقاله، عنوان و چکیده را می‌خوانید و در ستون یادداشت می‌کنید چرا حذف یا انتخاب شد.
یعنی Rayyan  یک اکسل یا نرم‌افزار مدیریت رفرنس ولی با سرعت و رابط کاربری بهتر است


معادل دستی Covidence:

Covidence علاوه بر غربالگری، ارزیابی کیفیت + استخراج داده‌ها + مستندسازی را هم دارد.

1.    غربالگری اولیه (مثل بالا در Excel یا EndNote).

2.    غربالگری متن کامل (Full-text) → مقاله کامل رو می‌خونید، در Excel ستون جدا برای "include/exclude" اضافه می‌کنید.

3.    ارزیابی کیفیت (مثلاً با چک‌لیست CASP) → برای هر مقاله یک جدول Word یا Excel پر می‌کنید.

4.    استخراج داده‌ها (Data Extraction) → اطلاعات کلیدی مثل نویسنده، سال، روش، نتایج رو در یک جدول اکسل وارد می‌کنید.

5.    در نهایت همه نتایج رو در فایل اکسل یا Word ذخیره می‌کنید تا برای نگارش مرور نظام‌مند استفاده شود.
یعنی Covidence  ترکیب Excel + Word + فایل‌های جداگانه CASP که دستی پر می کنید.


خلاصه:

Rayyan دستی = Excel یا Mendeley/EndNote برای غربالگری

Covidence دستی = Excel + Word + چک‌لیست‌ها برای غربالگری، ارزیابی کیفیت، و استخراج داده‌ها

 

معرفی سایت آموزش SPSS

سایت https://libguides.library.kent.edu/SPSS/home یک راهنمای آموزشی آنلاین است که توسط دانشگاه ایالتی کنت (Kent State University) ارائه شده و به آموزش نرم‌افزار آماری SPSS اختصاص دارد. این سایت شامل آموزش‌های گام‌به‌گام و مصور برای استفاده از SPSS است و به کاربران کمک می‌کند تا با قابلیت‌های این نرم‌افزار برای تحلیل داده‌ها آشنا شوند. محتوای سایت به چهار بخش اصلی تقسیم شده است:

  1. مقدمه‌ای بر محیط SPSS: برای کاربران جدید، شامل آموزش پیمایش رابط کاربری SPSS با استفاده از منوها یا سینتکس و ایجاد یا وارد کردن مجموعه داده‌ها
  2. کار با داده‌ها: آموزش دستکاری و پاک‌سازی داده‌ها، شامل ایجاد، اصلاح یا محاسبه متغیرهای جدید و تکنیک‌های تقسیم، ادغام یا ترانهاده داده‌ها
  3. کاوش داده‌ها: برای کاربرانی که با اصول اولیه آشنا هستند، شامل تولید آمار توصیفی، جداول فراوانی، جدول‌بندی متقاطع، رسم نمودار توزیع یا روابط متغیرها و تفسیر این اقدامات
  4. تحلیل داده‌ها: برای تحلیل پیشرفته با استفاده از آزمون‌های فرضیه، شامل آزمون‌های همبستگی (کای‌دو، همبستگی پیرسون)، مقایسه میانگین‌ها (تی‌تست، آنووا) و مدل‌های پیش‌بینی (رگرسیون چندگانه، لجستیک، ترتیبی)

ویژگی‌های دیگر سایت:

  • داده‌های نمونه: فایل‌های داده نمونه برای تمرین مثال‌های آموزشی ارائه شده است.
  • اطلاعات نسخه‌های SPSS: آموزش‌ها برای نسخه‌های 21، 22 و 25 SPSS Statistics Standard نوشته شده‌اند و ممکن است با نسخه‌ها یا ویرایش‌های دیگر (مثل Premium) تفاوت‌های جزئی داشته باشند.
  • دسترسی به SPSS: اطلاعات کاملی درباره دسترسی به SPSS در دانشگاه کنت، شامل نصب روی کامپیوترهای دانشگاه، خرید لایسنس برای کامپیوترهای شخصی (کارکنان و دانشجویان) و استفاده در آزمایشگاه‌های عمومی دانشگاه ارائه شده است. همچنین توضیحاتی درباره SPSS Amos و محدودیت‌های استفاده (فقط برای آموزش و پژوهش) وجود دارد.
  • نویسندگان: آموزش‌ها توسط تیم مشاوره آماری کتابخانه‌های دانشگاه کنت نوشته شده و نویسندگان فعلی و سابق آن ذکر شده‌اند.

این سایت منبعی جامع برای یادگیری SPSS، به‌ویژه برای دانشجویان، اساتید و محققان دانشگاه کنت یا هر کسی که به دنبال آموزش‌های رایگان و ساختارمند برای این نرم‌افزار است، محسوب می‌شود.

پرسشنامه کارکردهای اجرایی بریف-ویرایش دوم (BRIEF-2)


پرسشنامه کارکردهای اجرایی بریف-ویرایش دوم(BRIEF-2) توسط جیویا، ایسکوییت، گای و کنورثی (2015) برای بررسی نقص در کارکردهای اجرایی کودکان و نوجوانان ساخته شده است.


نسخه‌های BRIEF-2 و ساختار آن‌ها


BRIEF-2 شامل سه فرم اصلی و همچنین فرم‌های Screeners (غربالگری کوتاه) است:

  • فرم والدین (Parent Form) – برای کودکان 518 سال با 63 سوال (60گویه بالینی و 3 گویه برای بررسی اعتبار)
  • فرم معلم (Teacher Form) – برای کودکان 518 سال با 63 سوال (60گویه بالینی و 3 گویه برای بررسی اعتبار)
  • فرم خودگزارشی (Self-Report Form) – برای نوجوانان 1118 سال با 55 سوال
  • فرم‌های غربالگری (Screening) یا تعداد آیتم کمتر برای کاربردهای سریع‌تر

 

تعداد گویه‌ها و ساختار عوامل


BRIEF-2 نسبت به نسخه اصلی کوتاه‌تر شده است: از 86 آیتم به 63 آیتم کاهش یافته است.

مقیاس "Monitor" در نسخه اصلی به دو مقیاس جدید تقسیم شده: Self-Monitor و Task-Monitor.

همچنین Metacognition Index حالا به Cognitive Regulation Index (CRI) تغییر نام داده و شاخص جدیدی با نام Emotional Regulation Index (ERI) اضافه شده است.


دارای سه عاملی اصلی و 9 عاملی خرد است:

  1. Behavior Regulation Index (BRI): شامل Inhibit و Self-Monitor
  2. Emotional Regulation Index (ERI): شامل Shift و Emotional Control
  3. Cognitive Regulation Index (CRI): شامل Initiate, Working Memory, Plan/Organize, Task-Monitor, Organization of Materials


همه اینها در کنار Global Executive Composite (GEC) ارائه شده است.

 

 

 

به طور خلاصه می توان گفت:


  • 1-    نسخه والدین و نسخه معلم این مقیاس دارای 63 سؤال است که 60 گویه آن بالینی و 3 گویه آن مربوط به شاخص‌های بررسی اعتبار (نابسامدی، منفی بودن و بی ثباتی) است. نسخه خودگزارشی نوجوان این مقیاس دارای 55 سوال است.
  • 2-    فرم های معلم و والدین برای گروه سنی 5 تا 18 سال و فرم خودگزارشی نوجوان برای گروه سنی 11 تا 18 سال است.
  • 3-     دارای سه درجه هیچ وقت (0)، گاهی اوقات (1) و همیشه (3) است.
  • 4-     زمان مورد نیاز برای تکمیل این فرم 10 دقیقه است.
  • 5-    جامعه مورد هدف آن شامل اختلالات رشدی و اختلالات عصبی (مشکلات خودتنظیمی، اختلال طیف اتیسم، اختلالات یادگیری، آسیب های مغزی تروماتیک، افسردگی و دیگر مشکلات رشدی، نورولوژی، و پزشکی) است.
  • 6-    دارای 9 عامل و 3 شاخص شامل تنظیم رفتار (مقیاس‌های مهار و نظارت بر خود)، تنظیم هیجان (مقیاس‌های جابه‌جایی و کنترل عاطفی) و تنظیم شناختی (مقیاس‌های آغازگری، حافظه کاری، برنامه‌ریزی/سازماندهی، نظارت بر وظایف و سازماندهی وظایف) است.

 

شاخص‌ها

پایایی

ساختار عاملی و روایی

تعداد گویه ها

فرم

BRI، ERI، CRI، GEC

α > 0.90

 ساختار سه عاملی در مدل یابی نظری

ساختاردو عاملی در نمونه بالینی

63

والدین و معلم

همان شاخص‌ها )البته Initiate حذف، Task Completion اضافه شده است.)

α > 0.80

اصلاح‌شده با همان ساختار پیشنهادی؛

شواهد محدودتر

63

خودگزارشی نوجوان

نسخه‌های غربالگری مشابه اصول بالا

سریع‌تر،

روان‌سنجی مشابه

طراحی برای غربالگری اولیه،

جزئیات ساختار کمتر در دسترس

تعداد کم تر

غربالگری

 

 



ساختار عاملی BRIEF-2 نسخه والدین/معلم



نمونه نیمرخ


در منابع زیر ویژگی های روان سنجی نسخه فارسی BRIEF-2 بررسی شده است:


بیرامی، مجتبی، کدیور، پروین، کرامتی، هادی، عربزاده، مهدی و کاووسیان، جواد (1402). ویژگی‌های روانسنجی نسخۀ فارسی مقیاس خودگزارش‌دهی درجه‌بندی رفتاری کارکردهای اجرایی بریف-ویراست دوم در دانش‌آموزان دوره متوسطه دوم، فصلنامه پژوهش در یادگیری آموزشگاهی و مجازی، 11(1), .52-3.

پرهون، کمال، پرهون، هادی، مرادی، علیرضا، و حسن آبادی، حمیدرضا. (1400). ویژگی های روان سنجی نسخه فارسی مقیاس درجه بندی رفتاری کارکردهای اجرایی-ویراست دوم در دانش آموزان دوره ابتدایی. تازههای علوم شناختی، 23(1)، 1-12.

پرهون، کمال، پرهون، حمید، مرادی، علیرضا و حسن‌آ‌بادی، حمیدرضا. (1400). ویژگی‌های روان‌سنجی پرسشنامه رتبه‌بندی رفتارهای اجرایی، ویرایش دوم (BRIEF2) در دانش‌آموزان 13 تا 18 سال. فصلنامه اندازه‌گیری تربیتی، 12(45)، 165-186.

علیمحمدی، عسگر، عبدالمحمدی، کریم و قدمی، ابوالفضل. (1402). ویژگی‌های روان‌سنجی مقیاس درجه‌بندی رفتاری کارکردهای اجرایی-ویراست دوم (BRIEF-2) در دانش‌آموزان با مشکلات رفتاری برون‌نمود، پژوهش‌های روان‌شناختی، 13(52)، 156-133.

مقایسه شاخص های برازش دو مدل

مدل بدون همبسته کردن خطاها:

مدل پس از همبسته کردن خطاها بر اساس شاخص های اصلاح:



همان طور که ملاحظه می شود مقدار خی دو از 263 در مدل اول به 9 در مدل دوم کاهش یافت و مقدار RMSEA نیز از  0.19  در مدل اول به  0.03 در مدل دوم کاهش یافت. 

بهبود شاخص های برازش مدل با استفاده از Modification Indices (MI)

 

یکی از راهکارهای بهبود برازش مدل، استفاده از شاخص های اصلاح پیشنهاد شده توسط خود نرم افزار است. در این روش با همبسته کردن خطاها در مدل، شاخص های برازش بهبود پیدا می کنندممکن است برخی متغیرهای آشکار همپوشانی محتوایی داشته باشند (مثلاً سؤالات مشابه یا عباراتی که بار معنایی نزدیک دارند). در این صورت، خطاهایشان با هم همبسته‌اند و این موضوع اگر در مدل در نظر گرفته نشود، باعث بد شدن برازش می‌شود. معمولاً در لیزرل (و AMOS) شاخص‌های اصلاحی (Modification Indices) نشان می‌دهد که کدام خطاها می‌توانند همبسته شونددر CFA، اگر مدل فرض کند خطاهای متغیرها uncorrelated هستند اما در واقعیت correlated باشند (مثل به دلیل سؤالات مشابه در پرسشنامه)، برازش افت می‌کند.



هدف: شناسایی پارامترهایی که آزاد کردن آنها بیشترین بهبود را ایجاد می‌کند.

قانون کلی: به مقادیر MI بزرگتر از ۱۰ یا ۲۰ توجه کنید.

اولویت‌بندی:  همبستگی بین خطاها را بر اساس بالاترین MI و توجیه نظری اضافه کنید.

رویکرد تدریجی: همبستگی‌ها را به تدریج (یک یا دو مورد در هر مرحله) اضافه کنید و پس از هر تغییر، برازش مدل را مجدداً بررسی کنید.



فلسفه و هدف همبستگی خطاها:

 خطاها ( residuals یا disturbance terms) نماینده دو چیز هستند:

1.   عوامل اندازه گیری نشده: متغیرهای خارج از مدلی که بر متغیر وابسته اثر میگذارند.

2.   خطای تصادفی:  بی قاعدگی در داده ها

 

وقتی بین خطاهای دو متغیر همبستگی وجود دارد، این دو متغیر نه تنها توسط متغیرهای مکنون پیشبینی شده در مدل، بلکه توسط مجموعه مشترکی از 'عوامل خارجی مشترک' نیز تحت تأثیر قرار میگیرند که در مدل شما گنجانده نشده اند.

 

چالشی که برای تحلیل گران و پژوهشگران در این زمینه وجود دارد این است که تا چه حد مجاز به انجام این کار هستند؟ محقق "به شدت مجاز است" که از Modification Indices (MI) به عنوان یک "راهنما" استفاده کند، اما "به شدت مجاز نیست" که به صورت کورکورانه و تنها بر اساس آماره MI اقدام به ایجاد همبستگی بین خطاها کند. این کار باید با پشتوانه نظری قوی، استدلال منطقی و در نظر گرفتن خطر «اَبر برازش» (Overfitting) مدل انجام شود.در این زمینه باید مد نظر قرار داد که مدل نهایی باید نه تنها از نظر آماری قابل قبول باشد، بلکه از نظر نظری نیز معنی دار باشد.


نکته: مدلی که صرفاً بر اساس شاخص های اصلاحی بهبود پیدا کند موسوم به  data-driven model است.

 

دستورالعمل عملی برای همبسته کردن خطاها:

1.  برازش مدل اولیه: ابتدا مدل خود را بدون هیچ همبستگی خطای اضافی برازش کنید.

2.  بررسی خروجی: به MIها نگاه کنید. فقط مواردی که MI > 10 هستند را در نظر بگیرید.

3.  غربالگری نظری: از لیست موارد بالا، هر موردی که نمی توانید برای آن یک توجیه مفهومی قوی و قابل دفاع ارائه دهید را حذف کنید.

4.  اولویتبندی: موارد باقیمانده را بر اساس ترکیب «قدرت توجیه نظری» و «اندازه MI» اولویتبندی کنید.

5.  تغییر تدریجی: در هر مرحله فقط یک همبستگی خطا را آزاد کنید. مدل را دوباره اجرا کرده و نتایج را تفسیر کنید.

6.  ارزیابی مجدد: پس از هر تغییر، بررسی کنید که:

  • آیا شاخصهای برازش به طور معناداری بهبود یافته اند؟ (مثلاً کاهش قابل توجه در Chi-Square)
  • آیا پارامترهای اصلی مدل (بارهای عاملی، مسیرهای رگرسیونی) به طور قابل توجهی تغییر نکرده اند؟ (اگر تغییر کردند، چرا؟)
  • آیا modification بعدی در لیست هنوز معتبر است؟
7.  توقف: زمانی که مدل شما به یک برازش قابل قبول رسید و هیچ modification توجیه پذیر دیگری باقی نمانده است، کار را متوقف کنید. به برازش «کامل» ادامه ندهید.

 

نتیجه گیری نهایی: استفاده از MI یک "هنر مبتنی بر علم" است. شما به عنوان محقق باید مانند یک حقوقدان عمل کنید که "شواهد آماری (MI)" را با "قوانین و اصول نظری (توجیه مفهومی)" ترکیب می کند تا «پرونده» مدل خود را به قویترین شکل ممکن بسازید. آزاد کردن همبستگی خطاها بدون دلیل نظری، مانند شهادت دادن بر اساس شایعات است ممکن است در نگاه اول قانع کننده به نظر برسد، اما به راحتی در دادگاه علم زیر سؤال میرود و اعتبار کل تحقیق را خدشه دار می کند.