scholarly journals Impact of a Student-Driven, Virtual Patient Application on Objective Structured Clinical Examination Performance: Observational Study

2018 ◽  
Vol 20 (2) ◽  
pp. e60 ◽  
Author(s):  
David Bergeron ◽  
Jean-Nicolas Champagne ◽  
Wen Qi ◽  
Maxime Dion ◽  
Julie Thériault ◽  
...  
2015 ◽  
Vol 180 (suppl_4) ◽  
pp. 4-11 ◽  
Author(s):  
Aaron Saguil ◽  
Ting Dong ◽  
Robert J. Gingerich ◽  
Kimberly Swygert ◽  
Jeffrey S. LaRochelle ◽  
...  

ABSTRACT Background: The Medical College Admissions Test (MCAT) is a high-stakes test required for entry to most U.S. medical schools; admissions committees use this test to predict future accomplishment. Although there is evidence that the MCAT predicts success on multiple choice–based assessments, there is little information on whether the MCAT predicts clinical-based assessments of undergraduate and graduate medical education performance. This study looked at associations between the MCAT and medical school grade point average (GPA), Medical Licensing Examination (USMLE) scores, observed patient care encounters, and residency performance assessments. Methods: This study used data collected as part of the Long-Term Career Outcome Study to determine associations between MCAT scores, USMLE Step 1, Step 2 clinical knowledge and clinical skill, and Step 3 scores, Objective Structured Clinical Examination performance, medical school GPA, and PGY-1 program director (PD) assessment of physician performance for students graduating 2010 and 2011. Results: MCAT data were available for all students, and the PGY PD evaluation response rate was 86.2% (N = 340). All permutations of MCAT scores (first, last, highest, average) were weakly associated with GPA, Step 2 clinical knowledge scores, and Step 3 scores. MCAT scores were weakly to moderately associated with Step 1 scores. MCAT scores were not significantly associated with Step 2 clinical skills Integrated Clinical Encounter and Communication and Interpersonal Skills subscores, Objective Structured Clinical Examination performance or PGY-1 PD evaluations. Discussion: MCAT scores were weakly to moderately associated with assessments that rely on multiple choice testing. The association is somewhat stronger for assessments occurring earlier in medical school, such as USMLE Step 1. The MCAT was not able to predict assessments relying on direct clinical observation, nor was it able to predict PD assessment of PGY-1 performance.


2020 ◽  
Author(s):  
Nazdar Ezzaddin Alkhateeb ◽  
Ali Al-Dabbagh ◽  
Yaseen Omar Mohammed ◽  
Mohammed Ibrahim

BackgroundAny high-stakes assessment that leads to an important decision requires careful consideration in determining whether a student passes or fails. This observational study conducted in Erbil, Iraq, in June 2018 proposes a defensible pass/fail decision based on the number of failed competencies.MethodsResults were obtained for 150 medical students on their final objective structured clinical examination. Cutoff scores and pass/fail decisions were calculated using the modified Angoff, borderline, borderline-regression and holistic methods. The results were compared with each other and with a new competency method using Cohen’s kappa. Rasch analysis was used to compare the consistency of competency data with Rasch model estimates.ResultsThe competency method resulted in 40 (26.7%) students failing, compared with 76 (50.6%), 37 (24.6%), 35 (23.3%) and 13 (8%) for the modified Angoff, borderline, borderline regression and holistic methods, respectively. The competency method demonstrated a sufficient degree of fit to the Rasch model (mean outfit and infit statistics of 0.961 and 0.960, respectively).Conclusionsthe competency method was more stringent in determining pass/fail, compared with other standard-setting methods, except for the modified Angoff method. The fit of competency data to the Rasch model provides evidence for the validity and reliability of pass/fail decisions.


2021 ◽  
Author(s):  
◽  
Arda Manap

Hintergrund/Zielsetzung: Die Studentische Poliklinik Frankfurt (SP) ist die erste sogenannte Student-run Free Clinic in Deutschland. In ihr versorgen Studenten der Humanmedizin unter ärztlicher Aufsicht nicht-krankenversicherte Patienten. Vor der Tätigkeit in der SP müssen die Studenten ein intensives Vorbereitungsprogramm absolvieren. Dieses Programm ist seit Sommer 2013 als Wahlpflichtfach an der Medizinischen Fakultät der Goethe-Universität Frankfurt curricular verankert. Im Wintersemester 2016/2017 wurde zusätzlich zum bestehenden Peer-assisted Learning Kurs ein web-basierter Virtual Patient Learning Kurs eingeführt. Ziel dieser Studie war es, die Wirksamkeit von Peer-assisted Learning mit Virtual Patient Learning im Erwerb allgemeinmedizinischer Grundkenntnisse und -fertigkeiten zu vergleichen. Betrachtet wurden hierbei unterschiedliche Ebenen des Kompetenzerwerbs: theoretisches Wissen, praktisches Wissen und Selbstevaluation standen im Fokus der Studie. Methoden: 51 Studenten des fünften Fachsemesters wurden randomisiert in eine Peer-assisted Learning Gruppe (PAL Gruppe; n = 20), eine Virtual Patient Learning Gruppe (VPL Gruppe; n = 20) und eine Kontrollgruppe (KG, n = 11). Alle Gruppen absolvierten den curricularen Unterricht des ersten klinischen Semesters. Zusätzlich durchlief die PAL Gruppe das Wahlfach der SP im Peer-assisted Learning Format. Die VPL Gruppe durchlief das Wahlfach der SP im web-basierten Format mit sogenannten virtuellen Patienten auf der e-Learning Plattform Lernbar der Goethe Universität Frankfurt. Die Messung des Wissenserwerbs beinhaltete einen theoretischen Vortest und Nachtest (Langzeit-Test) mit je 24 Single-Choice Fragen und theoretische Kurzzeit-Tests nach jedem der Kasuistikseminare mit je fünf Single-Choice Fragen. Der praktische Kompetenzerwerb wurde durch eine curriculare und eine zum Wahlfach gehörende Objective Structured Clinical Examination (OSCE) nach Abschluss der Intervention gemessen. Außerdem schätzten die Studienteilnehmer ihren Wissens- und Kompetenzerwerb vor und nach Teilnahme am Wahlfach der SP mit Hilfe eines Fragebogens ein. Hierfür beantworteten sie 34 Fragen anhand einer sechsstufigen Likert-Skala (1 = sehr sicher; 6 = überhaupt nicht sicher). Nach jedem Kasuistikseminar evaluierten die Studenten die jeweilige Kasuistik mit je fünf Fragen anhand einer sechsstufigen Likert-Skala (1 = ich stimme voll zu; 6 = ich stimme überhaupt nicht zu). Das Signifikanzniveau wurde auf 0.05 festgelegt. Ergebnisse: Im gesamten theoretischen Nachtest erwarben alle Gruppen (PAL, VPL und KG) einen signifikanten Wissenszuwachs (PAL p < 0.0001; VPL p < 0.0001; KG p = 0.0156) verglichen mit dem theoretischen Vortest. In allen theoretischen Kurzzeit-Tests wies die VPL Gruppe ein signifikant besseres Ergebnis auf als die PAL Gruppe (Mittelwert PAL = 85.75 %; Mittelwert VPL = 90.57 %; p = 0.0047). Im Wahlfach OSCE zeigte sich kein signifikanter Unterschied zwischen der PAL und VPL Gruppe (p = 0.5395). Im curricularen OSCE zeigte sich kein signifikanter Unterschied zwischen beiden Testgruppen und der KG (p = 0.4263). In der Selbsteinschätzung nach Intervention schätzte sich die PAL Gruppe in 31 von 34 Items signifikant besser ein als zuvor. Die VPL Gruppe schätzte sich in 25 Items und die KG in 16 der 34 Items signifikant besser ein als zuvor. Die Kasuistikseminare wurden von der PAL und VPL Gruppe ähnlich bewertet. Die Mediane für die einzelnen Kasuistiken lagen bei 1 oder 2. Zusammenfassung: Allgemeinmedizinische Grundkenntnisse und Fertigkeiten können mit VPL genauso effektiv vermittelt werden wie mit PAL. Aufgrund der Kosteneffizienz, einer hohen Reproduzierbarkeit und des frei wählbaren Umfangs bezüglich Bearbeitungsort-und Zeit, sollte VPL häufiger in der allgemeinmedizinischen Lehre im Rahmen von Student-run Free Clinics durchgeführt werden. Letztendlich kann dies zu einer verbesserten Behandlungsqualität und Patientenzufriedenheit führen. Die VPL Seminare sollten dennoch weiterentwickelt werden und besonders im Hinblick auf Feedback an die Studenten moduliert und individualisierter gestaltet werden.


2005 ◽  
Vol 39 (10) ◽  
pp. 1015-1020 ◽  
Author(s):  
Jana Junger ◽  
Sybille Schafer ◽  
Christiane Roth ◽  
Dieter Schellberg ◽  
Miriam Friedman Ben-David ◽  
...  

Sign in / Sign up

Export Citation Format

Share Document