[Workshops zur Erstellung schriftlicher Prüfungsfragen gehen online: geeignetes Format gemäss der Teilnehmenden]

 Wilma Anschuetz ¹
Felicitas Wagner ¹
Patrick Jucker-Kupper ¹
Sören Huwendiek <sup>1

1</sup> Universität Bern, Institut für medizinische Lehre, Bern, Schweiz

Zusammenfassung

Hintergrund: Während der Corona-Pandemie wurde die Durchführung von Präsenzveranstaltungen erschwert, weshalb zwei geplante Präsenz-Workshops zur Erstellung von Multiple Choice (MC)-Fragen online durchgeführt wurden. Ob sich das Online-Format für die MC-Fragenerstellung eignet ist unseres Wissens bisher nicht beschrieben.

Fragestellungen: Die Studie hatte das Ziel, folgende Fragen aus Sicht der Teilnehmenden (TN) zu beantworten: Wie werden die zwei Online-Workshops hinsichtlich der Durchführung bewertet? Eignen sich diese Online-Workshops zur Erstellung von MC-Fragen? Wird das Online- oder Präsenz-Format bevorzugt? Als Mass für die Effizienz wurde betrachtet, ob der erwartete Fragenoutput (Standard von vergleichbaren Präsenz-Workshops) in den Online-Workshops erreicht wurde.

Methoden: Im Mai und Juni 2020 wurden zwei Online-Workshops mit insgesamt 24 TN für Schweizer Fachgesellschaften mit SWITCHinteract durchgeführt. Die Rückmeldungen der TN wurden per anonymer Online-Umfrage mit 21 Fragen erhoben.

Ergebnisse: 88% der TN nahmen an der freiwilligen Online-Umfrage teil. Die TN waren zufrieden mit der Durchführung und empfanden das Online-Format als geeignet. Die Mehrheit der TN zeigte keine Präferenz für ein bestimmtes Format (Online vs. Präsenz), wobei jedoch im Fall einer Format-Präferenz häufiger das Online-Format angegeben wurde. Der erwartete Fragenoutput wurde in beiden Workshops übertroffen. Als verbesserungswürdig wurden am häufigsten technische Aspekte angegeben.

Schlussfolgerung: Anhand der Ergebnisse können Online-Workshops zur MC-Fragenerstellung als ressourcenschonende und effiziente Alternative für Präsenz-Workshops betrachtet werden. Die zunehmende Anwendung und Optimierung von Online-Tools könnte die Umsetzung weiter erleichtern und die Format-Präferenz beeinflussen.

---

---

1. Einleitung

Die Erstellung von Multiple Choice (MC)-Prüfungsfragen ist ein anspruchsvoller Prozess, welcher sich im Rahmen strukturierter Präsenz-Workshops effizient durchführen lässt [1]. Während der Corona-Pandemie wurden Präsenzveranstaltungen aufgrund notwendiger Schutzkonzepte erschwert, weshalb geplante Präsenz-Workshops online durchgeführt wurden. Publikationen zu anderen Onlineveranstaltungen zeigen, dass sie sich gut zur Wissensvermittlung eignen [2], [3] und Vorteile wie Flexibilität, Zeit- und Kostenersparnis mit sich bringen [2], [4], [5], was in hoher Teilnahmebereitschaft und Akzeptanz resultiert [6], [7], [8], [9]. Nach unserem Wissen existieren keine Studien, welche die Eignung von Online-Workshops für die MC-Fragenerstellung untersucht haben.

2. Fragestellungen

Diese Studie hatte das Ziel, folgende Fragen aus Sicht der Teilnehmenden (TN) zu beantworten:

1. Wie werden die zwei Online-Workshop hinsichtlich Durchführung bewertet?
2. Eignen sich diese Online-Workshops zur Erstellung von MC-Fragen?
3. Wird das Online- oder Präsenz-Format bevorzugt?

Als Mass für die Effizienz wurde betrachtet:

4. Wird der erwartete Fragenoutput in den Online-Workshops erreicht?

3. Methoden

3.1. Vorgehen

Im Mai und Juni 2020 wurden zwei unabhängige Fragen-Workshops für Schweizer Fachgesellschaften mit insgesamt 24 Teilnehmenden (TN) online durchgeführt. Es wurde der gleiche Fragenoutput erwartet wie bei einem Präsenz-Workshop (siehe Tabelle 1 [Tab. 1]).

Die Workshops wurden mit SWITCHinteract [https://www.switch.ch/interact/] durchgeführt, ein Adobe Connect basiertes Online-Seminartool, welches mit Funktionen wie Videokonferenz, Breakout rooms und Screen-Share für Webinare empfohlen wird [5]. Im Vorfeld erhielten die TN eine Anleitung zur Erstellung von MC-Fragen und zur Einrichtung von SWITCHinteract (inkl. Testlogin). Der Ablauf der Workshops war an den Ablauf von Präsenz-Workshops angelehnt (siehe Tabelle 2 [Tab. 2]).

3.2. Umfrage

Die TN wurden mit einem anonymen Online-Fragebogen (Questback Unipark, [https://www.unipark.com/]) befragt zu Durchführung, Eignung und Präferenz des Workshop-Formates. Der Fragebogen enthielt 5 demographische, 17 geschlossene Fragen mit 6-stufiger Likert-Skala bzw. passender Nominal- oder Ordinalskala und 4 optionale Freitextfragen. Der Fragebogen wurde für diese Studie neu entwickelt. Die TN erhielten nach dem Workshop einen Link zur freiwilligen Umfrage.

3.3. Analyse

Alle Ergebnisse sind deskriptiv dargestellt. Aufgrund der kleinen Fallzahl wurden keine statistischen Vergleiche berechnet. Die Freitextkommentare wurden hinsichtlich wiederkehrender Themen analysiert. Im Folgenden werden nur die Ergebnisse zu denjenigen 16 Fragen dargestellt, welche für die Beantwortung der Fragestellungen relevant sind.

4. Ergebnisse

Die Rücklaufquote betrug 88% (21/24 Teilnehmende (TN)).

4.1. Demografie

Vorerfahrung als FragenautorIn hatten 38% der TN, 14% mit Fragen-Workshops (siehe Tabelle 3 [Tab. 3]).

4.2. Durchführung

Die Durchführung (Organisation, Ablauf, Betreuung, Inhalt) wurde von den TN insgesamt gut beurteilt (siehe Tabelle 4 [Tab. 4]).

4.3. Eignung

Die TN waren im Mittel im Vorfeld (eher) skeptisch, ob die virtuelle Durchführung geeignet sei. Abschliessend wurden das Online-Format und SWITCHinteract im Mittel als geeignet betrachtet. Die Mehrheit der TN war froh über den Wegfall der Reisezeit, die sich insgesamt auf 46h addiert hätte (siehe Tabelle 5 [Tab. 5]). Äussere Faktoren störten 43% der TN mässig (siehe Tabelle 6 [Tab. 6]). In den Freitextfragen wurden wenige Aspekte mehrfach genannt (siehe Tabelle 7 [Tab. 7]).

4.4. Präferenz

Es zeigte sich keine eindeutige Präferenz eines Workshop-Formates. Die Mehrheit der TN sah Vor- und Nachteile in beiden Formaten (siehe Abbildung 1 [Abb. 1]).

4.5. Fragenoutput

In beiden Workshops wurde der erwartete Fragenoutput übertroffen (siehe Tabelle 8 [Tab. 8]).

5. Diskussion

Diese Studie untersuchte die Eignung von Online-Workshops für die Erstellung von MC-Fragen.

Die Teilnehmenden (TN) waren zufrieden mit der Durchführung und empfanden das Online-Format sowie das eingesetzte Tool als geeignet, obwohl es im Vorfeld einige Online-Skeptiker gab. Insgesamt wurden 46h Reisezeit eingespart, was die TN mehrheitlich als Vorteil empfanden. Die Mehrheit (57%) der TN zeigte keine Präferenz, 29% bevorzugten ein Online- und 14% ein Präsenz-Format. Der erwartete Fragenoutput wurde in beiden Workshops übertroffen. Äussere Faktoren störten 43% der TN mässig. Technische Probleme wurden am häufigsten als verbesserungswürdiger Aspekt in den Freitextfragen genannt.

Mit der als gut beurteilten Durchführung und dem als geeignet empfundenen Online-Format lassen sich Fragestellung 1 und 2 positiv beantworten. Zusammen mit dem hohen Fragenoutput spricht dies dafür, dass Ablauf, Inhalt und erwarteter Output des Präsenz-Workshops auf das Online-Format übertragbar waren. Die berichtete Zeitersparnis und damit zusammenhängend Kosten- und CO₂-Ersparnis wurde auch in anderen Publikation beschrieben [2], [6], [7].

Unsere Ergebnisse lassen schlussfolgern, dass technische Aspekte optimal vorbereitet werden sollten (detaillierte Vorabinformation zum Online-Tool, Test-Login, Funktion von Mikrofon/Kamera/Screen-Share, stabiles Internet, ruhige Umgebung) um Störfaktoren möglichst zu minimieren.

Die Mehrheit der TN hatte keine klare Format-Präferenz, wobei jedoch mehr TN, welche eine Präferenz nannten, das Online-Format bevorzugten, was die Ergebnisse von [2] bestätigt.

Limitationen dieser Studie sind die geringe Anzahl an TN und dass zum jetzigen Zeitpunkt noch nicht beurteilt werden kann ob auch die Qualität der Fragen (Performance in Prüfungen) vergleichbar hoch ist.

Anhand der vorliegenden Resultate können Online-Workshops zur Erstellung von MC-Fragen als ressourcenschonende und effiziente Alternative für Präsenz-Workshops betrachtet werden. Neben einer optimalen technischen Vorbereitung könnte auch die zunehmende Anwendung und Optimierung von Online-Tools zukünftig die Umsetzung erleichtern und die Format-Präferenz beeinflussen.

Danksagung

Wir bedanken uns bei allen Teilnehmenden für ihr Engagement im Vorfeld und während der Workshops, sowie für die Teilnahme an der Umfrage.

Interessenkonflikt

Die Autor*innen erklären, dass sie keinen Interessenkonflikt im Zusammenhang mit diesem Artikel haben.

---

Literatur

[1] Schurter T. Zielführende Erstellung von Prüfungsfragen - gemeinsam geht's besser. Bern: Universität Bern, Institut für medizinische Lehre; 2017. Zugänglich unter/available from: https://www.iml.unibe.ch/themen/uebersichten/artikel/erstellung-mc-fragen
[2] Nadama HH, Tennyson M, Khajuria A. Evaluating the usefulness and utility of a webinar as a platform to educate students on a UK clinical academic programme. J R Coll Physicians Edinb. 2019;49(4):317-322. DOI: 10.4997/JRCPE.2019.415
[3] Osborne JM, Blunden S. Evaluating Accessible Sleep Health Information in Rural and Urban Contexts: Delivery Face-to-Face or Online? Clin Med Insights Pediatr. 2018;12:1179556518815168. DOI: 10.1177/1179556518815168
[4] Lopez-Cano, M., Morales-Conde, S. Time to be online or time to be present?-Time to join forces. Hernia. 2020;24:1407-1408. DOI: 10.1007/s10029-020-02264-w
[5] Fadlelmola FM, Panji S, Ahmed AE, Ghouila A, Akurugu WA, Domelevo Entfellner JB, Souiai O, Mulder N; H3ABioNet Research working group as members of the H3Africa Consortium. Ten simple rules for organizing a webinar series. PLoS Comput Biol. 2019;15(4):e1006671. DOI: 10.1371/journal.pcbi.1006671
[6] Achakulvisut T, Ruangrong T, Bilgin I, Van Den Bossche S, Wyble B, Goodman DF, Kording KP. Improving on legacy conferences by moving online. Elife. 2020;9:e57892. DOI: 10.7554/eLife.57892
[7] Viglione G. How scientific conferences will survive the coronavirus shock. Nature. 2020;582(7811):166-167. DOI: 10.1038/d41586-020-01521-3
[8] Castelvecchi D. 'Loving the minimal FOMO': First major physics conference to go virtual sees record attendance. Nature. 2020;580(7805):574. DOI: 10.1038/d41586-020-01239-2
[9] Woolston C. Learning to love virtual conferences in the coronavirus era. Nature. 2020;582(7810):135-136. DOI: 10.1038/d41586-020-01489-0