[Wahrnehmung von Journal-Club-Seminaren durch medizinische Promotionsstudierende: Ergebnisse aus fünf Jahren Evaluation]

Mara Taverna ¹
Julian Nicolaus Bucher ¹
Maximilian Weniger ¹
Roswitha Gropp ¹
Serene M. L. Lee ¹
Barbara Mayer ¹
Jens Werner ¹
 Alexandr V. Bazhin <sup>1

1</sup> Ludwig-Maximilians-Universität München, Klinik für Allgemein-, Viszeral- und Transplantationschirurgie, München, Deutschland

Zusammenfassung

Zielsetzung: Journal Clubs sind eine etablierte und weit verbreitete Methode der Postgraduiertenausbildung. Das Ziel dieser Arbeit war es zu untersuchen, wie die Teilnehmenden Journal Clubs insgesamt wahrnehmen und wie sie ihren persönlichen Prozess der Aneignung neuen wissenschaftlichen Wissens sowie die Entwicklung ihrer Soft Skills als unverzichtbare Voraussetzung für lebenslanges Lernen bewerten.

Projektbeschreibung: Bei dieser Studie handelt es sich um eine Befragungsauswertung zur Untersuchung der Wahrnehmung von Journal-Club-Seminaren durch medizinische Promotionsstudierende. Dazu wurden eine Checkliste für die Vorbereitung von Journal Clubs sowie ein Fragebogen für die Evaluation der Journal-Club-Sitzung durch die Teilnehmenden erarbeitet, um zu ermitteln, ob die Ziele des Journal Clubs erreicht wurden. Die Daten wurden durch Zusammenfassung aller Antworten auf jede Frage des Fragebogens für jede Sitzung erhoben. Qualitative Daten aus einem fünfjährigen Evaluationszeitraum wurden zusammengeführt und ausgewertet.

Ergebnisse: Die Journal-Club-Checkliste diente bei der Vorbereitung der Journal-Club-Sitzungen sowie des Evaluationsfragebogens mit 24 Items als Leitfaden. Diese Arbeit liefert Belege dafür, dass Journal-Club-Seminare von den Teilnehmenden positiv wahrgenommen werden. Darüber hinaus empfand ein hoher Prozentsatz der Teilnehmenden die Arbeitsatmosphäre als konstruktiv und die Teilnahme an den Sitzungen als wertvoll. Die Themen der Präsentationen wurden positiv bewertet, auch wenn nur wenige Teilnehmende angaben, dass die Themen des Journal Club Bezug zu ihrem eigenen spezifischen Forschungsthema hatten. Es konnte gezeigt werden, dass eine Verteilung des Zeitschriftenartikels eine Woche vor der Journal-Club-Sitzung ausreichend Zeit zur Vorbereitung bot. Die Auswertung ergab, dass zwei Drittel der Teilnehmenden die Diskussionen während der Sitzungen bereichernd und fruchtbar fanden. Die Motivation für kritischeres Denken stieg während der Journal-Club-Sitzungen. Gestützt auf diese Arbeit ist es evident, dass sich die Soft Skills der Vortragenden in der Wahrnehmung der Teilnehmenden mit zunehmender Übung verbesserten. Schließlich konnte ein eindeutiger positiver Trend bei der Wahrnehmung des Nutzens von Journal-Club-Sitzungen vom Beginn bis zum Ende des Evaluationszeitraums nachgewiesen werden.

Schlussfolgerung: Auf Grundlage der ausgewerteten Evaluationen kann geschlussfolgert werden, dass Journal-Club-Seminare von den Teilnehmenden sehr geschätzt werden und eine sinnvolle Möglichkeit für die Entwicklung bestimmter Soft Skills sind.

---

---

Einleitung

Im Rahmen dieser Arbeit wird „Journal Club“ als regelmäßige Zusammenkunft von Menschen definiert, die in wissenschaftlichen Fachzeitschriften veröffentlichte Forschungsarbeiten besprechen. Journal Clubs (JC) sind eine etablierte und weit verbreitete Methode der Postgraduiertenausbildung, die auf eine etwa zweihundertjährige Geschichte zurückblickt [1]. Deren Zweck bestand ursprünglich darin, eine bessere Verbreitung wissenschaftlicher Informationen zu niedrigen Kosten zu erzielen [2]. Im Laufe der Zeit entwickelten sie sich zu einer anerkannten Ausbildungsmaßnahme [3] mit verpflichtender Teilnahme für die Erlangung des Doktorgrades. An einigen Universitäten ist ein JC in den Curricula ihrer strukturierten Promotionsprogramme verankert [4]. Bei JC handelt es sich in erster Linie um Veranstaltungen mit direkter Interaktion. Der enorme Einfluss, den das Internet heute ausübt, führt dazu, dass JC zunehmend online oder gar mit Nutzung sozialer Medien abgehalten werden [1], [5]. Der Beginn der COVID-19-Pandemie 2020 verstärkte diesen Trend durch die große Wichtigkeit der physischen Distanzierung erheblich [6], [7], [8].

JC-Sitzungen haben für die Teilnehmenden viele Nutzen. Erstes und ältestes Ziel ist die Verbreitung wissenschaftlicher Informationen und die Wissensübermittlung. So bleiben die Teilnehmenden stets auf dem neuesten Stand der Literatur [9], [10]. Das zweite Ziel betrifft die Entwicklung der Fähigkeit, die Literatur kritisch zu reflektieren [11] und kritisch zu denken oder allgemein analytisch zu arbeiten [12], [13]. Es wird davon ausgegangen, dass Medizinstudierende durch JC-Sitzungen ihr Wissen im Feld der evidenzbasierten Medizin erweitern können und sie ihnen helfen, diesen Prozess in die klinische Praxis zu übertragen [14], [15]. Darüber hinaus können allgemeine (interdisziplinäre) Kompetenzen oder sogenannte Soft Skills beispielsweise in den Bereichen Kommunikation, Führung, Teamarbeit, Leitung, Diskussion, Zeitmanagement, kritisches Denken und Debattieren mithilfe des JC verbessert werden [13], [16]. Die Bewertung des Erfolgs eines JC kann abhängig vom Zweck und den Kriterien auf verschiedene Weise vorgenommen werden. So ist beispielsweise die Anzahl der Teilnehmenden, die normalerweise zwischen 12 und 135 Teilnehmenden liegt [17], die einfachste Kennzahl für die Erfolgsbewertung [4]. Eine komplexere Herangehensweise ist die Bewertung der Entwicklung von Fähigkeiten zur kritischen Auseinandersetzung mit der Literatur oder die Bewertung der Lernergebnisse vor und nach Tests bzw. im Rahmen randomisierter Studien mit Experimental- und Kontrollgruppen [17].

Die bisher zu JC als Ausbildungsinstrument durchgeführte Forschung lässt sich in drei Hauptkategorien einteilen:

1. JC als kognitives Werkzeug zur Verbesserung des kritischen Denkens [12], [18], [19], [20], [21] und der Fähigkeiten im Feld der evidenzbasierten Medizin [22], [23], [24], [25], [26], [27],
2. Strategien zur Erhöhung der Effektivität von JC [28], [29], [30], [31], [32] und
3. neue Ansätze für die Durchführung von JC [8], [33], [34], [35], [36], [37], [38].

Zur Rolle von JC bei der Entwicklung von Soft Skills wurde bisher kaum geforscht. Das Ziel dieser Arbeit war es zu untersuchen, wie die Teilnehmenden JC insgesamt wahrnahmen und wie sie ihren persönlichen Fortschritt bei der Aneignung neuen wissenschaftlichen Wissens sowie der Entwicklung ihrer Soft Skills bewerteten.

Projektbeschreibung

Studie und Teilnehmende

Diese Studie beruht auf der Auswertung einer Befragung, anhand der die Wahrnehmung von JC durch Medizindoktorandinnen und -doktoranden untersucht wurde, die an der Klinik für Allgemein-, Viszeral- und Transplantationschirurgie der Ludwig-Maximilians-Universität (LMU) München promovierten. Die Evaluation des JC begann im Wintersemester 2014 und endete im Sommersemester 2019. Insgesamt 40 Promotionsstudierende nahmen regelmäßig an JC-Sitzungen teil und füllten nach jeder Sitzung einen Evaluationsbogen aus. Die Sitzungen fanden während des akademischen Jahres zwischen Oktober und Juli des darauffolgenden Jahres zweiwöchentlich statt. Die Teilnahme an den Sitzungen war halb verpflichtend, das heißt, die Promotionsstudierenden mussten an 50% der Sitzungen teilnehmen und mindestens einmal während ihrer Promotion eine Präsentation halten. Daher waren die Gruppe offen und die Zusammensetzung der Teilnehmenden während des gesamten Beobachtungszeitraums unterschiedlich. Außerdem besuchten einige die JC-Sitzungen bis zu drei Jahre lang ab dem Beginn der Promotion. Laut Einschätzung der lokalen Ethikkommission der Medizinischen Fakultät der LMU München war für diese Studie keine förmliche ethische Zustimmung erforderlich. Alle Daten wurden vollständig anonymisiert. Von den Teilnehmenden wurde die Zustimmung (unterschriebene Einverständniserklärung) für die Nutzung der Evaluationsergebnisse für wissenschaftliche Zwecke eingeholt.

Vorbereitung und Durchführung von JC-Sitzungen

Die Präsentation der jeweils ersten Sitzung jedes akademischen Jahres wurde von einer erfahrenen Wissenschaftlerin oder einem erfahrenen Wissenschaftler gehalten (eine Autorin oder ein Autor dieser Arbeit; MT, RG, SL, BM oder AVB). Diese dienten den Promotionsstudierenden als Beispiel für die Gestaltung ihrer JC-Sitzung. Dabei wurden darüber hinaus die Ziele eines JC und die Merkmale eines erfolgreichen JC sowohl für die Vortragenden als auch die Anwesenden vorgestellt und erörtert. Das hier angewendete JC-Format ist eine didaktische Mischung aus klassischem und umgedrehtem Unterricht (flipped classroom) [39]. Die Vortragenden wählten die Artikel für die Präsentation selbst aus (nach Rücksprache mit der Betreuerin oder dem Betreuer, falls notwendig). Bei der Auswahl der Artikel gab es keine strengen Vorgaben; zur Vorbereitung der JC-Sitzung mussten die Teilnehmenden jedoch eine bereitgestellte Checkliste (siehe Abbildung 1 [Abb. 1]) abarbeiten. Der Artikel, der besprochen wurde, musste den anderen Teilnehmenden mindestens eine Woche vor der Sitzung bereitgestellt werden, sodass diese genügend Zeit für das kritische Lesen des Textes hatten. Die Präsentationsform konnte frei gewählt werden; die Nutzung von PowerPoint wurde jedoch nicht empfohlen, um zu vermeiden, dass die Präsentation wie eine Vorlesung wirkt. Im Anschluss an die Präsentation des Artikels (15–20 min) wurde eine Diskussion angestoßen und vom Vortragenden geleitet (15–20 min). Eine erfahrene Wissenschaftlerin oder ein erfahrener Wissenschaftler mit zusätzlichem didaktischem Hintergrund (MT oder AVB) nahm an jeder Sitzung teil und unterstützte die vortragende Person bei der Moderation der Diskussion (Lernen am Modell). Nach jeder Sitzung mussten die Teilnehmenden anonym einen Fragebogen ausfüllen. Die Angaben aus den Fragebögen wurden nach jeder Sitzung von MT ausgewertet. Die letzte JC-Sitzung wurde vom korrespondierenden Autor (AVB) geleitet und diente der Erörterung der Ergebnisse der anonymen Evaluation mit dem Ziel, mögliche Probleme herauszustellen und gegebenenfalls Veränderungen für das nächste akademische Jahr vorzunehmen.

Vorbereitung der Checkliste

Es wurde im Rahmen eines Workshops eine Checkliste mit Richtlinien für die Vorbereitung des JC erarbeitet, an dem die Autorinnen und Autoren sowie Doktorandinnen und Doktoranden im Herbst 2014 teilnahmen. Der korrespondierende Autor (AVB), der über einen fundierten Hintergrund in der Erwachsenenbildung und Hochschuldidaktik verfügt, leitete den Workshop. Er stellte die oben bereits genannte aktuelle Literatur zur Effektivität von Journal Clubs [2], [3], [4], [9], [10], [11], [12], [14], [15], [16], [17], [18], [19], [22], [28], [29], [40] sowie die angestrebten Lernziele vor. Danach arbeiteten die Workshop-Teilnehmenden in kleinen Gruppen zusammen und erörterten die Inhalte der Checkliste. Die JC-Checkliste (siehe Abbildung 1 [Abb. 1]) diente als Leitfaden für die Vorbereitung einer Journal-Club-Sitzung durch die vortragende Person. Die Checkliste wurde bei der ersten einführenden JC-Sitzung in jedem Jahr vorgestellt und eingehend mit den Teilnehmenden besprochen.

Vorbereitung des Fragebogens

Der Fragebogen für die JC-Evaluation durch die Teilnehmenden wurde von den Autorinnen und Autoren dieser Arbeit (SL, BM und AVB) im Rahmen eines themenspezifischen Workshops auf Grundlage der im vorangegangenen Abschnitt genannten Literatur erarbeitet. Die Ergebnisse des Workshops wurden als den Qualitätsmanagementnormen, gemäß ISO 9001:2015 zertifizierten Klinik entsprechend erklärt. Der erstellte Evaluationsfragebogen (siehe Tabelle 1 [Tab. 1]) besteht aus sechs Fragengruppen (Evaluationsebenen, siehe Tabelle 1 [Tab. 1]), die den Teilzielen des Projekts entsprechen. Bewertet werden dabei

1. JC insgesamt,
2. Thema der Präsentation,
3. Verlauf einer JC-Sitzung,
4. Wahrnehmung der Teilnehmenden ihres Lernprozesses,
5. Bewertung der Soft Skills der vortragenden Person während der Präsentation,
6. Wahrnehmung der Beteiligung des Kollegiums an der JC-Sitzung.

Jede Fragengruppe des Fragebogens umfasste drei bis sieben Fragen. Insgesamt wurden 24 Items formuliert (siehe Tabelle 1 [Tab. 1]), die mit 1 („trifft nicht zu“) bis 5 („trifft zu“) auf der Likert-Skala bewertet werden sollten. Die Reliabilität der internen Konsistenz des Fragebogens wurde mithilfe der Korrelationsanalyse nach Cronbach bewertet. Nachfolgend wurden die Augenscheinvalidität (Beurteilung der subjektiven Relevanz, Angemessenheit und Unzweideutigkeit) sowie die Inhaltsvalidität (umfassende Literaturrecherche, um die zugehörigen Items herauszuarbeiten) vor der Verwendung bewertet [41].

Alle Promotionsstudierenden erhielten bei jeder JC-Sitzung einen Fragebogen. Alle Antworten auf jede Frage des Fragebogens wurden für jede Sitzung summiert. Für jede Frage wurde die Anzahl der Teilnehmenden, die eine positive, eine negative oder eine neutrale Kategorie auf der Likert-Skala ankreuzten, separat zusammengezählt. Die Antworten „trifft nicht zu“ und „trifft eher nicht zu“ sowie die Antworten „trifft eher zu“ und „trifft zu“ wurden zusammengeführt. Diese Zusammenführung der beiden „positiven“ sowie der beiden „negativen“ Kategorien wird üblicherweise durchgeführt, um ein deutlicheres Bild der Ergebnisse einer Likert-Skala zu zeichnen, ohne dass Informationen verloren gehen. Grafiken und Analysen wurden mit GraphPad Prism 5 (GraphPad Software, Inc.) erstellt.

Ergebnisse

Allgemeine Auswertung der Fragebogenentwicklung, JC-Sitzungen und Teilnehmenden

Die interne Konsistenz des Fragebogens ist hoch, wie ein Cronbachs-Alpha-Koeffizient von 0,97 zeigt. Die Anzahl der JC-Sitzungen sowie der Teilnehmenden jedes Jahr ist in Tabelle 2 [Tab. 2] zusammengefasst. Es ist zu beachten, dass die Evaluation der JC-Sitzungen im ersten Jahr nur während des Sommersemesters und nicht, wie in den anderen Jahren, während des Sommer- und des Wintersemesters durchgeführt wurde. Daher ist die Anzahl der evaluierten JC-Sitzungen im ersten Beobachtungsjahr geringer als in den folgenden Jahren. Die Anzahl der Teilnehmenden war jedoch im ersten Jahr höher als in den Jahren darauf und war dann relativ stabil (siehe Tabelle 2 [Tab. 2]).

Allgemeine Evaluation der JC-Sitzungen

Zunächst sollten die Teilnehmenden die JC-Sitzung insgesamt evaluieren (d. h. Organisation, Verständlichkeit und allgemeine Einschätzung des Nutzens der Veranstaltung). Der JC allgemein wurde insgesamt positiv wahrgenommen („trifft eher zu“ oder „trifft zu“ wurde von mehr als 70% aller Teilnehmenden angekreuzt). Hier sei darauf hingewiesen, dass eine Tendenz zu einer positiveren Wahrnehmung des JC ab 2017 begann, die Wahrnehmung zunehmend positiver wurde und dann in den folgenden Evaluationsjahren stabil blieb (siehe Abbildung 2 [Abb. 2]).

Die oben erwähnte JC-Checkliste sollte sich in der Verständlichkeit der JC-Struktur widerspiegeln. Zu Beginn des Beobachtungszeitraums (Jahre 2015–2016) bewerteten 80% der Teilnehmenden die JC-Struktur als verständlich. In den folgenden Jahren stieg dieser Anteil auf mindestens 95% (siehe Abbildung 2 [Abb. 2]).

Ebenfalls zu Beginn der Evaluation lag der prozentuale Anteil der Teilnehmenden, die die Aussage „Die Teilnahme an den Sitzungen ist wertvoll.“ mit „trifft eher zu“ oder „trifft zu“ beantworteten, bei 70–80%. In den folgenden Jahren stieg dieser Anteil jedoch und erreichte ein Maximum von 95% der Teilnehmenden im Jahr 2016 (siehe Abbildung 2 [Abb. 2]).

Evaluation des Themas der Präsentation

Die richtige Auswahl des Artikels für die Diskussion ist für eine erfolgreiche JC-Sitzung unerlässlich [13]. Die nächste Fragengruppe diente der Evaluation des Themas, das für die Diskussion während der Sitzung gewählt wurde. Mehr als 75% der Teilnehmenden waren der Meinung, dass die JC-Sitzungen aktuelle Themen behandelten (siehe Abbildung 3 [Abb. 3]). Die Relevanz dieser Themen für ihre eigene Forschung empfanden sie jedoch als gering. Dies war vor allem in den Jahren 2015 bis 2016 der Fall (siehe Abbildung 3 [Abb. 3]), was teilweise mit der Heterogenität der wissenschaftlichen Projekte der Teilnehmenden zu erklären ist. Zu Beginn der JC-Evaluation (2015–2016) stimmten nur etwa 50% der Teilnehmenden mit der Aussage überein, dass der JC Anregungen für ihren wissenschaftlichen Alltag lieferte. Ab dem dritten Evaluationsjahr allerdings stimmten hier mehr teilnehmende Personen (etwa 80% der Teilnehmenden) zu (siehe Abbildung 3 [Abb. 3]).

Evaluation des Verlaufs einer JC-Sitzung

Rechtzeitige Verteilung des Artikels

Für den Erfolg der JC-Sitzung ist der Zeitplan der Verteilung des Artikels wesentlich [17]. Wird der Artikel rechtzeitig an die Teilnehmenden weitergeleitet, haben sie genügend Zeit, den Artikel sorgfältig zu lesen, so gut wie möglich zu verstehen und Abschnitte zu bestimmen, die sie zum Erreichen ihrer Lernziele eingehender erörtern möchten. Die Evaluation zeigte, dass die Artikel in den meisten Fällen rechtzeitig verteilt wurden (siehe Abbildung 4 [Abb. 4]). Damit der Verlauf des JC erfolgreich ist, muss die Arbeitsatmosphäre konstruktiv sein [12]. Tatsächlich empfanden etwa 100% der Teilnehmenden des JC im Jahr 2017 die Arbeitsatmosphäre als konstruktiv. Demgegenüber antworteten im Jahr 2016 nur 80 % der teilnehmenden Personen mit „trifft eher zu“ oder „trifft zu“ (siehe Abbildung 4 [Abb. 4]).

Konstruktive Diskussionen während JC-Sitzungen

Ein wichtiger Teil des JC-Verlaufs sind die Diskussionen während der Sitzungen [17]. Daher wurden die Teilnehmenden gebeten, diese Diskussionen zu bewerten, mit dem Ziel festzustellen, ob sie bereichernd waren. Die Evaluationsergebnisse waren heterogen: In den Jahren 2015, 2016, 2018 und 2019 fanden etwa 75–80% der Teilnehmenden, dass die Diskussionen während der JC-Sitzungen hinreichend waren. Im Jahr 2017 hingegen empfanden sie mehr als 90% der teilnehmenden Personen als bereichernd (siehe Abbildung 4 [Abb. 4]). Dass die Diskussionen ausgiebig waren, bedeutet nicht zwangsläufig, dass sie auch fruchtbar waren. Daher wurde außerdem die Bewertung der Fruchtbarkeit der während der JC-Sitzungen geführten Diskussionen erfasst. Die Auswertung der Antworten zeigte, dass das Ergebnis dem gleichen Trend folgte wie die Antworten auf die vorherige Frage nach der Bereicherung durch die Diskussionen, und die positiven Antworten erreichten im Jahr 2017 ihr Maximum (siehe Abbildung 4 [Abb. 4]).

Evaluation des Lernprozesses

Erreichen der Lernziele

Hinsichtlich des Lernprozesses war es wichtig zu erfahren, wie die Promotionsstudierenden ihren eigenen Lernprozess bewerteten, den sie während ihrer Teilnahme am JC durchliefen. Da Interesse ein maßgeblicher Faktor beim Lernen zu sein scheint [40], wurden die Teilnehmenden gefragt, ob die JC-Präsentationen ihnen interessante Lernziele boten. Die Auswertung ergab, dass zu Beginn des JC-Projekts in den Jahren 2015 und 2016 nur etwa 55% der Teilnehmenden der Meinung waren, dass die Präsentationen ihnen interessantes Lernmaterial liefern (siehe Abbildung 5 [Abb. 5]). Ab 2017 zeigte sich jedoch ein anderer Trend: Mehr als 80% der teilnehmenden Personen fanden, dass der JC ihnen interessante Lerninhalte vermittelte. Dieser Trend setzte sich in den folgenden Jahren nahezu stabil fort (siehe Abbildung 5 [Abb. 5]).

Motivation für kritisches Denken

In dieser Studie wurde nicht untersucht, wie sich die Teilnahme an einem JC auf die Entwicklung des kritischen Denkens der Promotionsstudierenden auswirkt. Dennoch sollte herausgestellt werden, wie die Teilnehmenden ihre Motivation für kritischeres Denken über das im JC besprochene Thema beurteilten. In den ersten beiden Jahren antworteten etwa 75% der Teilnehmenden auf die Frage danach, ob sie motiviert waren kritischer zu denken, mit „trifft eher zu“ oder „trifft zu“. Dieser prozentuale Anteil stieg ab 2017 und erreichte ein Maximum von 95% (siehe Abbildung 5 [Abb. 5]).

Angemessener Informationsumfang zum Lernen

Der Umfang der bereitgestellten Informationen, die gelernt werden sollen, beeinflusst den Lernprozess. Daher wurden die Teilnehmenden gefragt, ob die Informationsmenge in jeder JC-Sitzung angemessen war. In den ersten Jahren der Evaluation der JC-Sitzungen gaben etwa 75% der teilnehmenden Personen an, dass der Informationsumfang des JC angemessen war. Dieser Prozentsatz stieg in den folgenden Jahren auf ein Maximum von 95% der Teilnehmenden im Jahr 2017 (siehe Abbildung 5 [Abb. 5]).

Evaluation der Soft Skills der vortragenden Person während der Präsentation

JC sind eine anerkannte Plattform für die Entwicklung bestimmter Soft Skills (in den Bereichen Präsentation, Leitung, Diskussion, Zeitmanagement, Führung usw.) [42], die für die wissenschaftliche Arbeitsfähigkeit zweifelsohne bedeutsam sind. Daher evaluierten die Teilnehmenden die Soft Skills der vortragenden Person nach den JC-Sitzungen. Die Teilnehmenden waren im Allgemeinen der Meinung (95% im Jahr 2015 und bis zu 100% in den letzten beiden Beobachtungsjahren), dass die Vortragenden gut vorbereitet waren (siehe Abbildung 6 [Abb. 6]). Demgegenüber gaben nur 70–75% der Teilnehmenden in den ersten Jahren, in denen der JC stattfand, an, dass die vortragende Person ihr Interesse weckte. Dieser prozentuale Anteil stieg jedoch in den folgenden Beobachtungsjahren auf 95%. Das Ergebnis spiegelt sich auch in den nächsten Fragen wider. Diese lauteten, ob die vortragende Person ihnen eine Erkenntnis vermittelte und ob der Inhalt nachvollziehbar dargelegt wurde (siehe Abbildung 6 [Abb. 6]). Dies unterstreicht die Bedeutung der Vortragsfähigkeiten. Die Präsentationsmethoden wurden zu Beginn des Evaluationszeitraums von 70–75% der Teilnehmenden als gut empfunden. Ab 2017 stieg dieser Wert und blieb in den letzten Beobachtungsjahren stabil hoch (siehe Abbildung 6 [Abb. 6]).

Die Bedeutung der Diskussion wurde oben bereits dargelegt. Dafür genügend Zeit einzuräumen ist ebenfalls ein wichtiger Soft Skill, der den Bereichen Leitung, Zeitmanagement und Führung zugeordnet werden kann. In allen Beobachtungsjahren beantworteten mindestens 95% der Teilnehmenden die Aussage „Die vortragende Person ließ genügend Zeit für Diskussion.“ mit „trifft eher zu“ und „trifft zu“ (siehe Abbildung 6 [Abb. 6]). Darüber hinaus ist Kollegialität als Teil von Führungsqualität im Rahmen von JC wichtig [13]. So empfanden fast alle Teilnehmenden die Vortragenden während der JC-Sitzungen als kollegial (siehe Abbildung 6 [Abb. 6]).

Evaluation der Wahrnehmung der anderen Teilnehmenden der JC-Sitzungen durch ihre Kolleginnen und Kollegen

Schließlich sollte herausgestellt werden, wie die Teilnehmenden ihre Kolleginnen und Kollegen wahrnahmen, die mit ihnen an den JC-Sitzungen teilnahmen. Im Jahr 2016 hatten nur etwa 60% der Teilnehmenden den Eindruck, dass der vor der JC-Sitzung verteilte Artikel gelesen wurde; 2015 waren es demgegenüber 85% (siehe Abbildung 7 [Abb. 7]). Fast die gleiche prozentuale Verteilung wurde für die Aussagen „Die Teilnehmenden wirken aufmerksam und interessiert.“ und „Die Teilnehmenden stellen konkrete und relevante Fragen.“ verzeichnet (siehe Abbildung 7 [Abb. 7]).

Positives Feedback motiviert extrinsisch und fördert das Selbstwertgefühl [43]. Im Kontext eines JC ist Feedback ein starker Motivator vorzutragen und vor allem gut vorzutragen. Daher wurde geprüft, ob die Vortragenden während der JC-Sitzung von den Teilnehmenden Feedback erhielten. Zu Beginn des Evaluationszeitraums nahmen nur etwa 50% der teilnehmenden Personen wahr, dass die Vortragenden Feedback erhielten. Doch ab 2017 änderte sich dies und 75–90% der Teilnehmenden gaben ab, dass die vortragenden Personen tatsächlich Feedback von ihren Kolleginnen und Kollegen bekamen.

Diskussion

JC-Seminare gewinnen zunehmend an Bedeutung – nicht nur im Kontext der Verbreitung wissenschaftlicher Informationen, sondern auch im Ausbildungsbereich. So wird dieses Seminarformat auch für die Postgraduiertenausbildung, insbesondere in strukturierten Postgraduierten-Curricula, immer beliebter. Wie bereits erwähnt ist die Anzahl der Teilnehmenden eine Kennzahl für die Messung der Effektivität von JC. Sie kann jedoch nur verwendet werden, wenn die Teilnahme an den JC-Seminaren nicht verpflichtend ist. Laut der systematischen Übersichtsarbeit von Deenadayalan et al. [17] kann die Anzahl der Teilnehmenden zwischen 12 und 135 liegen. Für die im Rahmen dieser Arbeit untersuchten JC-Veranstaltungen gab es eine Mindestanwesenheitsquote und die Anzahl der Teilnehmer war geringer. Ist die Teilnahme nicht verpflichtend, hängen die Teilnahme und die Anzahl der Teilnehmenden nach Meinung der Autorinnen und Autoren dieser Arbeit von vielen Faktoren ab: Anzahl der Forschungsgruppen, Zeitrahmen der Veranstaltungen, Thema usw. Diese Faktoren müssen berücksichtigt werden, wenn JC-Seminare in die Curricula integriert werden sollen.

Zwar merken Deenadayalan et al. an, dass sich die Bewertung der Effektivität des JC speziell auf den besprochenen Artikel beziehen sollte [17], doch nach Meinung der Autorinnen und Autoren dieser Arbeit sind die positive Wahrnehmung des JC insgesamt sowie das Wissen, das die Teilnehmende des JC sich aneignen, und wichtige Fähigkeiten, die nicht direkt mit dem Artikel in Zusammenhang stehen (d. h. Soft Skills), für die Steigerung der Motivation zur Teilnahme an den JC-Sitzungen ebenfalls wichtig. Das ist ein wesentlicher Aspekt, denn die JC-Sitzungen sind, wie im Falle des in dieser Arbeit betrachteten JC, nicht immer fakultativ. Wird die Teilnahme Voraussetzung für die Promotion, kann der JC zu einer unliebsamen Veranstaltung werden. Vielmehr liefert diese Arbeit Belege dafür, dass diese Seminare von den Teilnehmenden tatsächlich positiv wahrgenommen werden. Dieses Ergebnis zeigt, dass die Teilnehmenden die allgemeine Bedeutung und den Nutzen des JC genau kennen [18]. Darüber hinaus empfand ein hoher Prozentsatz der Teilnehmenden die Arbeitsatmosphäre als konstruktiv und die Teilnahme an den JC-Sitzungen als wertvoll.

Da ein JC idealerweise konstruktive Anregungen für den wissenschaftlichen Alltag liefern sollte, wird die Auswahl eines geeigneten Artikels als weiterer wichtiger Faktor für die Effektivität des JC betrachtet [12], [13], [17]. Bei der Auswahl des Artikels sollte beispielsweise berücksichtigt werden, ob er ein aktuelles Thema behandelt und ob er für die Arbeit der anderen Teilnehmenden relevant ist. Eine positive Bewertung des Themas der Präsentation korreliert mit einem höheren prozentualen Anteil Teilnehmender, die angaben, dass das Thema des JC Bezug zu ihrem eigenen spezifischen Forschungsthema hatte. Die für diese Arbeit erfassten Daten hierzu konnten leicht interpretiert werden, da die Vortragenden ihre Artikel nach Rücksprache mit der Betreuerin oder dem Betreuer selbst wählen konnten. Daher hatte das Thema der Präsentation Bezug zu ihrem eigenen Forschungsthema. Die Forschungsgruppen an der Klinik, in der die Studie zu dieser Arbeit durchgeführt wurde, sind heterogen, sodass die Forschenden unterschiedliche wissenschaftliche Interessenschwerpunkte haben. Deshalb zeigten die Evaluationsergebnisse erwartungsgemäß, dass die wissenschaftlichen Themen häufig nur wenig Relevanz für die individuellen Forschungsthemen der Teilnehmenden hatten. Es wird daher empfohlen, dass die Verantwortlichen für die JC-Seminare die Kriterien für die Auswahl der Veröffentlichungen für die Diskussion strategisch definieren, sodass alle Teilnehmenden davon profitieren können – selbst bei Forschungsheterogenität an der Gastabteilung.

Diese Heterogenität der Teilnehmenden aus verschiedenen Arbeitsgruppen wirft die Frage auf, ob unter diesen Umständen ein effektiver JC verwirklicht werden kann. Deenadayalan et al. empfehlen einerseits, dass der gewählte Artikel den Interessenbereich aller Teilnehmenden abdecken sollte [17]; Lonsdale et al. schreiben demgegenüber, „Multidisciplinary is not a dirty word“ (S. 3), und „Let your topics be as diverse as your members“ (S. 4) [13]. Die Autorinnen und Autoren dieser Arbeit schließen sich der Meinung von Lonsdale et al. an, da die Heterogenität einer (Lern-)Gruppe den Lernprozess fördern kann, indem unterschiedliche Interessen geweckt werden, und darüber hinaus die Motivation zur Teilnahme steigern kann.

Deenadayalan et al. beantworteten die Frage nach der Bedeutung und Notwendigkeit der Verteilung des Artikels vor der JC-Sitzung nicht abschließend. Sie empfehlen jedoch, allen Teilnehmenden genügend Zeit zum Lesen einzuräumen [17]. Wie lang diese Zeitspanne sein sollte, wird allerdings nicht definiert. Die Teilnehmenden wurden im Rahmen dieser Studie angewiesen, den gewählten Artikel per E-Mail mindestens eine Woche vor der JC-Sitzung zu versenden. Fast alle Teilnehmenden gaben an, dass dieser Zeitraum für die Vorbereitung ausreichte. Daher wird empfohlen, die zu besprechenden Artikel mindestens sieben Tage vor der Veranstaltung zu verteilen.

Es gibt Untersuchungen zu Lernergebnissen, die auch den Lernprozess der Teilnehmenden betrachten. Diese Forschung wurde in der systematischen Übersichtsarbeit von Deenadayalan et al. besprochen. Sie stellten fest, dass einige Daten eine signifikante Verbesserung der fachlichen Fähigkeiten (d. h. Biostatistik) oder sogar der Fähigkeiten zur kritischen Auseinandersetzung zeigten [17]. Im Rahmen der für diese Arbeit durchgeführten Studie sollte untersucht werden, wie die Teilnehmenden ihren eigenen Lernprozess während des JC wahrnahmen. Da Interesse die Lernmotivation steigert [40], sollte in dieser Studie herausgefunden werden, ob die JC-Präsentationen den Teilnehmenden interessante Lernziele lieferten. Interessanterweise gab zu Beginn der Evaluation nur die Hälfte der Teilnehmenden an, dass die Präsentation vor dem Hintergrund ihrer Lernziele für sie von Interesse ist. Ab dem dritten Evaluationsjahr stieg dieser Prozentsatz jedoch. Die Bereicherung und die Fruchtbarkeit, die die Diskussionen mit sich bringen, können für den Erfolg eines JC ausschlaggebend sein und den Lernprozess unterstützen. Soweit bekannt gibt es in der Literatur bisher keine Daten zur Wahrnehmung der Diskussion während einer JC-Sitzung. Die Auswertung dieser Studie ergab, dass zwei Drittel der Teilnehmenden die Diskussionen während der Sitzungen bereichernd und fruchtbar fanden. Der Einfluss der während der JC-Sitzungen geführten Diskussionen auf die Effektivität des JC sollte zukünftig weiter erforscht werden, insbesondere im Kontext der Lernprozesse.

Wie bereits erwähnt wurde im Rahmen dieser Arbeit nicht untersucht, wie sich die Teilnahme an einem JC auf die Entwicklung des kritischen Denkens der Teilnehmenden auswirkt. Das Ziel war es stattdessen, ihre Selbsteinschätzung dazu zu erheben, ob sie die JC-Teilnahme motivieren konnte, die Literatur kritischer zu lesen. Während sich zu Beginn des Evaluationszeitraums nur die Hälfte der Teilnehmenden positiv einschätzte, stieg im Laufe der Zeit der Prozentsatz der Teilnehmenden, die angaben, mehr Motivation für kritischeres Denken zu haben. Die Wahrnehmung von Selbstmotivation für kritischeres Denken steht im Einklang mit Forschungsdaten, die zeigen, dass JC die Fähigkeiten der Teilnehmenden zur kritischen Auseinandersetzung mit der Literatur als Teil eines insgesamt kritischen Denkprozesses tatsächlich verbessern [17].

Ein weiterer interessanter Diskussionspunkt ist die Informationsmenge, die von den Teilnehmenden während einer JC-Sitzung gegeben und verarbeitet werden kann. Werden zu viele Informationen übermittelt, können die Teilnehmenden die Komplexität der Materie nicht optimal erfassen, vor allem weil sie noch keine etablierten Wissenschaftlerinnen und Wissenschaftler sind. Dennoch muss der Umfang der Informationen ausreichen, um sie zum Lernen zu motivieren. Die Evaluationsergebnisse zeigen, dass die meisten Teilnehmenden im Rahmen dieser Studie durch die Informationsmenge gefordert, jedoch nicht überfordert waren. Der geeignete Informationsumfang für eine JC-Sitzung sollte ebenfalls in Zukunft untersucht werden.

Soft Skills sind unverzichtbare Voraussetzung für lebenslanges Lernen und somit auch für die künftige Beschäftigungsfähigkeit [44], und sie können im Rahmen eines JC gefördert werden [13], [16]. In der für diese Arbeit durchgeführten Studie nahmen die Teilnehmenden wahr, dass sich die Soft Skills der vortragenden Personen allgemein durch Übung verbesserten. Daher stimmen die Autorinnen und Autoren mit Fowler et al. und Lonsdale et al. überein, dass durch das Vortragen bei einem JC die Soft Skills gestärkt werden können. Zur Untermauerung dieser Aussage müssen jedoch vor und nach der Befragung erhobene Daten ausgewertet werden.

Die Einstellung der Kolleginnen und Kollegen während einer JC-Sitzung kann die Motivation der Teilnehmenden beeinflussen. Daher betraf ein interessanter Teil des Fragebogens die Evaluation der Wahrnehmung des Kollegiums durch die Teilnehmenden während der JC-Sitzung. Die Auswertung ergab, dass der Eindruck entstand, die vorzubereitenden Artikel wurden nicht gelesen. Dieses Ergebnis steht der Erkenntnis entgegen, dass eine Woche Vorbereitungszeit für den JC ausreicht. Um diesen Widerspruch aufzuklären, ist mehr Forschung nötig. Diese Tatsache wirkte sich indessen nicht auf das Interesse der Doktorandinnen und Doktoranden an dieser Veranstaltung aus. Schließlich zeigte die Auswertung, dass Feedback noch immer erwünscht ist.

Folgerungen für die Umsetzung eines Journal Clubs

Eine wichtige Erkenntnis dieser Arbeit ist, dass der JC regelmäßig evaluiert werden sollte. Die Daten, die bei der Evaluation erhoben werden sollen, müssen von den Verantwortlichen des JC jedoch genau definiert werden und sollten auf den angestrebten Zielen und Lernergebnissen beruhen. Auf Grundlage der bereits genannten im Rahmen dieser Arbeit formulierten Anforderungen und Ziele wurde ein Fragebogen erstellt, der anderen Einrichtungen als Vorlage dienen kann. Schließlich wird dringend empfohlen, vor dem offiziellen Beginn des JC Workshops zu veranstalten, in deren Rahmen die Ziele vereinbart werden, und den JC unter die Leitung einer erfahrenen hochschuldidaktisch qualifizierten Person zu stellen.

Stärken und Einschränkungen

Die Studie weist gewisse Einschränkungen auf: Erstens wurde sie monozentrisch durchgeführt, wodurch eine Generalisierung der Ergebnisse schwierig ist. Zweitens deutet der Cronbachs-Alpha-Koeffizient von über 0,95 möglicherweise auf eine gewisse Redundanz zwischen den Fragen hin. Drittens nahmen sowohl Studierende teil, die am Anfang ihrer Promotion standen, als auch Studierende, die im Untersuchungszeitraum ihre Promotion abschlossen. Daher kann nicht abschließend dargelegt werden, dass die beobachteten Effekte auf die Verbesserung der Fähigkeiten der Teilnehmenden im Laufe der Zeit zurückzuführen sind. Außerdem kann nicht ausgeschlossen werden, dass die Effekte auf der extrinsischen Motivation der Teilnehmenden beruhen. Schließlich erfolgte die Evaluation über den Fragebogen vollständig anonym; die demografischen Daten wurden daher weder erfasst noch ausgewertet. Dies könnte die Generalisierbarkeit der Ergebnisse ebenfalls beeinträchtigen. Bedeutsame Stärken der Studie sind die hohe Anzahl der evaluierten JC-Sitzungen sowie die longitudinale Beobachtung. Diese Stärken ermöglichten den Nachweis eines eindeutigen positiven Trends bei der Wahrnehmung der JC-Sitzungen ab Beginn der Evaluation bei fast allen Items des Fragebogens.

Schlussfolgerungen

Auf Grundlage der ausgewerteten Evaluationen kann geschlussfolgert werden, dass Journal-Club-Seminare von den Teilnehmenden sehr geschätzt werden und eine sinnvolle Möglichkeit für die Entwicklung bestimmter Soft Skills sind.

Abkürzungen

• ISO = Internationale Organisation für Normung
• JC = Journal Club
• LMU = Ludwig-Maximilians-Universität

Danksagung

Die Autorinnen und Autoren bedanken sich bei Frau Dana Dacian für ihre hervorragende administrative Unterstützung bei der Organisation der Journal-Club-Sitzungen sowie bei Herrn Prof. Dr. Matthias Siebeck für seine wertvollen Ratschläge zur Darstellung der Daten. Großer Dank geht an Frau Heike Ruttloff für die Übersetzung des Manuskriptes.

Interessenkonflikt

Die Autor*innen erklären, dass sie keinen Interessenkonflikt im Zusammenhang mit diesem Artikel haben.

---

Literatur

[1] Topf JM, Sparks MA, Phelan PJ, Shah N, Lerma EV, Graham-Brown MPM, Madariaga H, Iannuzzella F, Rheault MN, Oates T, Jhaveri KD, Hiremath S. The Evolution of the Journal Club: From Osler to Twitter. Am J Kidney Dis. 2017;69(6):827-836. DOI: 10.1053/j.ajkd.2016.12.012
[2] Linzer M. The journal club and medical education: over one hundred years of unrecorded history. Postgrad Med J. 1987;63(740):475-478. DOI: 10.1136/pgmj.63.740.475
[3] Struck BD, Bernard MA, Teasdale TA, Oklahoma University Geriatric Education G. Effect of a mandatory geriatric medicine clerkship on third-year students. J Am Geriatr Soc. 2005;53(11):2007-2011. DOI: 10.1111/j.1532-5415.2005.00473.x
[4] Kleinpell RM. Rediscovering the value of the journal club. Am J Crit Care. 2002;11(5):412, 414. DOI: 10.4037/ajcc2002.11.5.412
[5] Bounds R, Boone S. The Flipped Journal Club. West J Emerg Med. 2018;19(1):23-27. DOI: 10.5811/westjem.2017.11.34465
[6] Laranjeira C, Querido AI, Valentim O. Using an Online Journal Club to Improve Evidence-Based Practice in Mental Health Nursing Students. J Nurs Educ. 2020;59(12):723-724. DOI: 10.3928/01484834-20201118-13
[7] Leri AC. A remote undergraduate biology seminar on SARS-CoV-2 literature. Biochem Mol Biol Educ. 2021;49(3):313-315. DOI: 10.1002/bmb.21503
[8] Rezvani M, Smith GA, Majzoub JA, Durbin AD, Winn AS. A resident-led virtual journal club to educate pediatric residents about COVID-19. Acad Pediatr. 2021;21(4):759-761. DOI: 10.1016/j.acap.2021.02.010
[9] Kirchhoff KT, Beck SL. Using the journal club as a component of the research utilization process. Heart Lung. 1995;24(3):246-250. DOI: 10.1016/S0147-9563(05)80044-5
[10] Dwarakanath LS, Khan KS. Modernizing the journal club. Hosp Med. 2000;61(6):425-427. DOI: 10.12968/hosp.2000.61.6.1360
[11] Letterie GS, Morgenstern LS. The journal club. Teaching critical evaluation of clinical literature in an evidence-based environment. J Reprod Med. 2000;45(4):299-304.
[12] Esisi M. Journal clubs. BMJ. 2007;335:s138. DOI: 10.1136/bmj.39337.722917.7D
[13] Lonsdale A, Sietsma Penington J, Rice T, Walker M, Dashnow H. Ten Simple Rules for a Bioinformatics Journal Club. PLoS Comput Biol. 2016;12(1):e1004526. DOI: 10.1371/journal.pcbi.1004526
[14] Milbrandt EB, Vincent JL. Evidence-based medicine journal club. Crit Care. 2004;8(6):401-402. DOI: 10.1186/cc3005
[15] Ahmadi N, McKenzie ME, Maclean A, Brown CJ, Mastracci T, McLeod RS; Evidence-Based Reviews in Surgery Steering Group. Teaching evidence based medicine to surgery residents-is journal club the best format? A systematic review of the literature. J Surg Educ. 2012;69(1):91-100. DOI: 10.1016/j.jsurg.2011.07.004
[16] Fowler SB, Druist KA, Dillon-Zwerdling L. Journal club: an opportunity to advance the art and science of home health practice. Home Healthc Nurse. 2011;29(10):595-598. DOI: 10.1097/NHH.0b013e3182315fd4
[17] Deenadayalan Y, Grimmer-Somers K, Prior M, Kumar S. How to run an effective journal club: a systematic review. J Eval Clin Pract. 2008;14(5):898-911. DOI: 10.1111/j.1365-2753.2008.01050.x
[18] Spillane AJ, Crowe PJ. The role of the journal club in surgical training. Aust N Z J Surg. 1998;68(4):288-291. DOI: 10.1111/j.1445-2197.1998.tb02085.x
[19] Alguire PC. A review of journal clubs in postgraduate medical education. J Gen Intern Med. 1998;13(5):347-353. DOI: 10.1046/j.1525-1497.1998.00102.x
[20] Berman D, Braig Z, Simms B, Anderson T, Dougherty K, Marcinkowski K, Seaman R. Efficacy of Medical Student Surgery Journal Club. J Surg Educ. 2019;76(1):83-88. DOI: 10.1016/j.jsurg.2018.06.006
[21] Friesth M, Dzara K. An Educational Evaluation of a Journal Club Approach to Teaching Undergraduate Health Care Research. J Med Educ Curric Dev. 2020. DOI: 10.1177/2382120520940662
[22] Honey CP, Baker JA. Exploring the impact of journal clubs: a systematic review. Nurse Educ Today. 2011;31(8):825-831. DOI: 10.1016/j.nedt.2010.12.020
[23] Herur A, Kolagi S, Ramadurg U, Hiremath CS, Hadimani CP, Goudar SS. Refining the Journal Club Presentations of Postgraduate Students in Seven Clinical Departments for Better Evidence-based Practice. Ann Med Health Sci Res. 2016;6(3):185-189.
[24] Parhar S, Gibson J. Does participation in an undergraduate journal club make dental students more knowledgeable and confident in practising evidence-based dentistry? Eur J Dent Educ. 2017;21(4):e59-e63. DOI: 10.1111/eje.12219
[25] Burris JN, Frederick EK, Malcom DR, Raake S, Shin M, Daugherty KK. Impact of a Journal Club Elective Course on Student Learning Measures. Am J Pharm Educ. 2019;83(7):6827. DOI: 10.5688/ajpe6827
[26] Ilic D, de Voogt A, Oldroyd J. The use of journal clubs to teach evidence-based medicine to health professionals: A systematic review and meta-analysis. J Evid Based Med. 2020;13(1):42-56. DOI: 10.1111/jebm.12370
[27] Kim SC, Sabel S, McHargue S, Bloom RD. Impact of an extracurricular, student-led journal club on evidence-based practice among baccalaureate nursing students. Int J Nurs Educ Scholarsh. 2020;17(1):20200004. DOI: 10.1515/ijnes-2020-0004
[28] Anzarut A, Martens B, Tredget E. Improving journal clubs through the use of positive deviance: A mixed-methods study. Can J Plast Surg. 2011;19(3):82-84. DOI: 10.1177/229255031101900307
[29] McDonough V. Improving journal club: increasing student discussion and understanding of primary literature in molecular biology through the use of dialectical notes. Biochem Mol Biol Educ. 2012;40(5):330-332. DOI: 10.1002/bmb.20640
[30] Casadevall A, Gow N. Using Preprints for Journal Clubs. mBio. 2018;9(2):e00516-e00518. DOI: 10.1128/mBio.00516-18
[31] Dzara K, Frey-Vogel AS. Medical Education Journal Club for the Millennial Resident: An Interactive, No-Prep Approach. Acad Pediatr. 2019;19(6):603-607. DOI: 10.1016/j.acap.2019.05.004
[32] Summey RM, Leonard W, Schiele K, Tristan S, Young A, Vinas E, Ferriss JS. Iterative approach to journal club. Postgrad Med J. 2020;96(1138):496-499. DOI: 10.1136/postgradmedj-2020-137551
[33] Roberts MJ, Perera M, Lawrentschuk N, Romanic D, Papa N, Bolton D. Globalization of continuing professional development by journal clubs via microblogging: a systematic review. J Med Internet Res. 2015;17(4):e103. DOI: 10.2196/jmir.4194
[34] Plante TB, Iberri DJ, Coderre EL. Building a Modern Journal Club: The Wiki Journal Club Experience. J Grad Med Educ. 2015;7(3):341-343. DOI: 10.4300/JGME-D-14-00488.1
[35] Currie G, Woznitza N, Bolderston A, Westerink A, Watson J, Beardmore C, Di Prospero L, McCuaig C, Nightingale J. Twitter Journal Club in Medical Radiation Science. J Med Imaging Radiat Sci. 2017;48(1):83-89. DOI: 10.1016/j.jmir.2016.09.001
[36] Thangasamy IA, Loeb S, Sathianathen NJ, Leveridge M, Stork B, Davies BJ, Woo HH. Evaluating the Effectiveness of an Online Journal Club: Experience from the International Urology Journal Club. Eur Urol Focus. 2021;7(2):482-488. DOI: 10.1016/j.euf.2019.10.006
[37] Stoneman S, Hiremath S. Twitter-Based Journal Clubs: Bringing Critical Appraisal to the Social Table. Semin Nephrol. 2020;40(3):264-272. DOI: 10.1016/j.semnephrol.2020.04.004
[38] Mark I, Sonbol M, Abbasian C. Running a journal club in 2020: reflections and challenges. BJPsych Bull. 2020;45(6):339-342. DOI: 10.1192/bjb.2020.121
[39] McGlacken-Byrne SM, O'Rahelly M, Cantillon P, Allen NM. Journal club: old tricks and fresh approaches. Arch Dis Child Educ Pract Ed. 2020;105(4):236-241. DOI: 10.1136/archdischild-2019-317374
[40] Hidi S. Interest and Its Contribution as a Mantal Resource for Learning. Rev Educ Res. 1990;60(4):549-571. DOI: 10.3102/00346543060004549
[41] Taherdoost H. Validity and reliability of the research instrument; how to test the validation of a questionnaire/survey in s research. Int J Acad Res Manag. 2016;5(3):28-36. DOI: 10.2139/ssrn.3205040
[42] Aronson JK. Journal Clubs: 2. Why and how to run them and how to publish them. Evid Based Med. 2017;22(6):232-234. DOI: 10.1136/ebmed-2017-110861
[43] Luft J, Ingham H. The Johari window, a graphic model of interpersonal awareness. In: Proceedings of the western training laboratory in group development. Los Angeles: UCLA Extension Office;1955.
[44] Wiepke C. Employability in the Bologna Prozess, An Area of Tension between Society, Business and Students. Intl J Learn. 2009;16(4):435-445. DOI: 10.18848/1447-9494/CGP/v16i04/46237