[Assessment of ultrasound skills with a validated OSCE-Parcours]
Matthias Hofer 1Marco Pieper 2
Sybille Soboll 3
1 Heinrich-Heine-Universität Düsseldorf, AG Medizindidaktik, Düsseldorf, Deutschland
2 Heinrich-Heine-Universität Düsseldorf, Anatomisches Institut II, Düsseldorf, Deutschland
3 Heinrich-Heine-Universität Düsseldorf, Studiendekanat, Düsseldorf, Deutschland
Text
Zielsetzung: Ultraschalluntersuchungen zählen zwar zu den häufigsten, nicht-invasiven Diagnosemethoden, sind jedoch sehr untersucherabhängig in ihrer Qualität. Das Ziel war die Konzipierung und Evaluation eines geeigneten Messinstruments für die Beurteilung der praktischen Untersuchungskompetenz studentischen oder CME-Sonographiekursteilnehmern.
Methoden: Basierend auf den 15-jährigen Erfahrungen in der praktischen Durchführungen von Ultraschallkursen für ca. 10.000 Teilnehmern in der ärztlichen Aus-, Fort- und Weiterbildung wurde ein standardisierter OSCE-Parcours mit insgesamt 16 Stationen schrittweise konzipiert, evaluiert und optimiert. Die Prüflinge durchlaufen mehrere, jeweils fünfminütige Prüfungsstationen mit praktischen Ultraschallaufgaben zur kompletten Durchmusterung verschiedener Organe oder Gefäßregionen und zur korrekt beschrifteten Zeichnung etablierter Standardebenen (zum Training einer Musterwiedererkennung). Die Bewertung erfolgt mit Hilfe detaillierter Checklisten durch erfahrene Sonographeure und schließt ein ca. zweiminütiges Feedback zu etwaigem Verbesserungspotenzial durch die Prüfer unmittelbar nach jeder Station mit ein.
Die Evaluation der 10 Praxis- und 6 Zeichnungsstationen erfolgte in zwei dreitägigen CME-Sonographiekursen mit insgesamt 100 Ärzten und umfasste die Bestimmung von Itemschwierigkeiten, Trennschärfen und interner Reliabilität mit Hilfe von SPSS-Software.
Ergebnisse zeigten eine mittlere Trennschärfe von 0.48, sehr homogene Itemschwierigkeiten der Einzelstationen von 0.77 bzw. 0.84 (bei Bestehensgrenzen von 65% bzw. 60% der maximal erreichbaren Punkte) und eine interne Reliabilität 0,78 bei insgesamt 5 Stationen pro Prüfling. Kalkulatorisch steigt die Reliabilität ab sechs Stationen auf Werte über 0,8 an.
Schlussfolgerung: Das vorgestellte Prüfungskonzept würde sich ab einem Umfang von sechs Stationen auch als standardisiertes Messinstrument für z.B. Facharztprüfungen der Allgemeinmedizin oder KBV-Kolloquien eignen und wäre von seinem Zuverlässigkeitsgrad und Streumaß dafür auch vertretbar und juristisch stabil.
Literatur
[1] Hofer M, Mey N, Metten J, Hartwig HG, Mödder U. Qualitätssicherung von Ultraschallkursen in der ärztlichen Fort- und Weiterbildung: Status-quo-analyse und Verbesserungspotential. Ultraschall in Med 2002;23(3):189-197.[2] Hofer M, Schiebel B, Hartwig HG, Mödder U. Didaktiktraining für Ausbilder in Ultraschallkursen. Evaluation des „Train-the-trainer“-Programms des Medizindidaktischen Pilotprojektes Düsseldorf. Ultraschall in Med 2002;23 (4):267-273.
