ش | ی | د | س | چ | پ | ج |
1 | 2 | |||||
3 | 4 | 5 | 6 | 7 | 8 | 9 |
10 | 11 | 12 | 13 | 14 | 15 | 16 |
17 | 18 | 19 | 20 | 21 | 22 | 23 |
24 | 25 | 26 | 27 | 28 | 29 | 30 |
پاور پوینت (اسلاید) ارزیابی در آموزش پزشکی
-چگونگی جمع آوری اطلاعات:
پرونده های بالینی/اطلاعات اداری و بایگانی/کارنامه فراگیران/مشاهده
- اجتناب از مواردی که روایی و پایایی را تهدید می کنند:
مخلوط بودن بیماران/پیچیده بودن بیماران و تعداد بیماران
ارزیابی پیامد های یادگیری
دو ویژگی آموزش پزشکی:بنابراین:
اگر استادان قرار است دانشجویان خود را بهتر ارزیابی نمایند لازم است که درک عمیق تری از روند ارزیابی داشته باشند و پیامد های یادگیری را که باید مورد ارزیابی قرار گیرند مورد توجه قرار دهند و بهترین ابزار برای ارزیابی هر پیامد را بشناسند .
هرم میلر
ابزار هایی که برای ارزیابی انتخاب می شوند باید دارای چهار خصوصیت زیر باشند:
-validity روایی
-reliability پایایی
- عملی بودن (شامل هزینه های مالی)
- تاثیر بر یادگیری دانشجویان
ویژه گی های روان سنجی بویژه در آزمون های سرنوشت سازو تاثیر گذار باید مورد بررسی قرار گیرند( روایی و پایایی آزمون)
روایی آزمون
اطلاعات و شواهدی که به منظور حمایت یا رد درستی مفهوم استنباط شده از آزمون یا تفسیر بدست آمده بر مبنای نتایج آزمون ارائه می گردد.به کمک 5 منبع مشخص از شواهد روایی می توان روایی را مورد بررسی قرار داد:
- محتوا
- پاسخ ها
- ساختار درونی
- ارتباط با سایر متغیر ها
- پیامد ها
محتوا:
طرح کلی آزمونblueprint
ویژگی های طراح سوال
کیفیت سوالات ازمون
مشخصات آزمون
پاسخ ها:
مثال: اگر آزمون از سه بخش سوالات چند گزینه ای-سوالت درست/نادرست و سوالات تشریحی کوتاه تشکیل شده و از یک نمره مرکب جهت نمره دهی استفاده شده است توجیه نحوه تعیین این نمره ترکیبی تا چه اندازه منطقی بوده است؟
ساختار درونی:
شامل ویژه گی های آماری ازمون است مثال:
نمراتی که به سوالات با محتوای مشابه داده می شود باید همبستگی بسیار بالایی با یکدیگر در قیاس با سوالاتی که سایر متغیر ها را اندازه می گیرند داشته باشد.
ارتباط با سایر متغیرها:
در اینجا با روش های آماری و بررسی همبستگی ارتباط نمرات بدست آمده از یک ازمون با یک ابزار ارزیابی قدیمی تر و جا افتاده تر که ویژه گی های آن کاملا شناخته شده است بررسی می شود(آیا با آزمون مشابه همان نمرات بدست می اید یا خیر)
پیامدها و عواقب:
در این بخش اثرات آزمون/نمرات/تصمیمگیری مبتنی بر آن/ پیامد ناشی از تصمیم گیری ها/اثرات بر روی بیماران و جامعه و..... مورد بررسی قرار می گیرد
عوامل تهدید کننده روایی آزمون
الف- ارائه ناکافی سازه:ب- متغیر های غیر مرتبط با سازه:
-سوال دارای خطای تکنیکی از نظر طراحی
-سوال دارای سو گیری:
سوال علاوه بر سنجیدن هدف اصلی از آزمون مطلب یا مطالب دیگری را نیز مورد سنجش قرار دهند
(مدل چند بعدی عملکرد متمایز سوال
بعد هدف یا اولیه/بعد ثانویه/بعد ثانویه کمکی)
- سوالات بسیار اسان یا بسیار سخت هستند یا قدرت افتراق آزمون شونده قوی و ضعیف را نداشته باشند.
-سوال موجب فریب آزمون شونده شود
- روش تعیین نمره قبولی قابل دفاع نیست
پایایی آزمون
منظور آن است که آیا نتایج آزمون دوباره قابل تکرار است یا خیرمعمولا پایایی را بصورت ضریب از 0 (اصلا پایایی ندارد) تا 1 (پایایی کامل دارد) تعریف می کنند. غالبا حد مورد قبول در آزمونها 8/0 می باشد.ولی هرچه اهمیت آزمون بالاتر باشد این ضریب نیز باید بالاتر باشد
عوامل موثر بر پایایی آزمون
- خطاهای محیطی:- خطاهای دسته بندی:
آزمون گیرندگان ممکن است بر روی نمره ای که می خواهند به یک آزمون شونده بدهند توافق نداشته باشند
مثال: در یک آزمون شفاهی یک آزمون گیرنده رفتار آزمون شونده را اضطراب و هیجان زیاد و آزمون گیرنده دیگر همان رفتار را بی حرمتی به استاد تفسیر کند
- خطاهای تعمیم دادن:
ممکن است آزمون گیرنده تمایل داشته باشد که نتیجه یک سوال خاص را بطور غیر منطقی به کل موارد تعمیم دهد
مثال: چون این دانشجو ضرب کردن را بلد نیست پس حتما جمع و تفریق را هم بلد نیست
- خطاهای سوگیری:
الف:وزن دادن- ممکن است یک ارزیاب به یک خصوصیت اهمیت و وزن بیشتری بدهد
ب:پیش قضاوت کردن ارزیاب- مثلا آزمون گیرنده از تیپ و قیافه آزمون شونده خوشش نیاید
ج:اثر هاله ای-یعنی برداشت کلی ارزیاب از آزمون شونده در مراحل گذشته بر نمره دهی وی در این مرحله خاص تاپیر گذارد
دال:آسان گیری و سخت گیری-برخی ممتحنین کلا آسان گیر و برخی سخت گیرند.
انواع روش های ارزیابی دانشجو
1-ارزیابی 360 درجهChart stimulated recall oral examination-2
(CSR)
آزمون شفاهی با بخاطر آوردن به کمک پرونده
Global rating of live or recorded perf.-3
درجه بندی کلی بر مبنای مشاهده مستقیم عملکرد فرد یا عملکرد ضبط شده وی
OSCE-4
5- کارنامه فنون تشخیصی درمانی/اعمال جراحی یا بیماران ویزیت شده
Patient survey-6
پرسیدن از بیماران
Portfolio-7
بازتاب مستند مجموعه عملکرد
Record review-8
مرور پرونده
Simulations and modules-9
بازسازی ها و بسته های آموزشی
Standardized oral examination-10
آزمون شفاهی استاندارد شده
Standardized patient examination(SP)-11
آزمون با بیماران استاندارد شده
Mini-clinical evaluation exer.(mini-CEX)-12
ارزیابی بالینی کوتاه
Direct observation of procedural skills-13
(DOPS)
مشاهده مستقیم مهارت های عملی(فنون تشخیصی-درمانی)
14-آزمون های کتبی
1-آزمون های کتبی
یک آزمون مناسب یک نیمروز طول می کشد و 175 تا 250 سوال دارداگر آزمون برای گرفتن تصمیم در مورد قبولی یا ردی بکار می رود باید ابتدا بصورت پیلوت اجرا شودو از نظر آماری مورد تجزیه و تحلیل قرار گیرد
اگر به ازای هر عنوان پرسش های بیشتری در آزمون گنجانده شود پایایی آن افزایش می یابد
اگر تعداد سوالات بیشتر باشد پایایی آن افزایش می یابد
اگر قرار است عملکرد دستیاران از سالی به سال دیگر مقایسه شود باید حداقل 20تا 30 درصد سوالات هر سال تکرار گردد