journal_logo

GMS Journal for Medical Education

Gesellschaft für Medizinische Ausbildung (GMA)

2366-5017_N


Dies ist die deutsche Version des Artikels. Die englische Version finden Sie hier.
Artikel
Patientensicherheit

[Verhaltensänderungen von Studierenden, die interprofessionelle Online-Ausbildung für Patientensicherheit lernen: Vergleichende Bewertung eines Online-Programms mit der DID-Methode]

Shinjiro Nozaki 1
 Takatoshi Makino 1,2
Bumsuk Lee 1,3
Hiroki Matsui 1,2
Ena Sato 1,2
Hiromitsu Shinozaki 1,2
Hideomi Watanabe 2,4

1 Universität Gunma, Graduiertenschule für Gesundheitswissenschaften, Gunma, Japan
2 Universität Gunma, WHO-Kollaborationszentrum für Forschung und Ausbildung zur interprofessionellen Ausbildung, Gunma, Japan
3 Universität Gunma), WHO-Kollaborationszentrum für Forschung und Ausbildung zur interprofessionellen Ausbildung, Gunma, Japan
4 Takasaki Universität für Gesundheit und Wohlfahrt, Gunma, Japan

Zusammenfassung

Ziel: Interprofessionelle Ausbildung (IPE) kann Kompetenzen in der multidisziplinären Zusammenarbeit für die Patientensicherheit aufbauen, und in jüngster Zeit wurden sowohl Präsenz- als auch Online-IPE-Programme eingeführt. Das Ziel dieser Studie war es, die Auswirkungen des Online-IPE-Programms auf Studenten nach der Coronavirus-Pandemie 2019 zu untersuchen.

Methoden: Der Differenz-von-Differenzen-Ansatz wurde zur Beurteilung von Studenten der Medizin- und Gesundheitswissenschaften sowie der Pharmazie-Fakultät an der Takasaki Universität für Gesundheit und Soziales angewendet, die an IPE-Programmen der Universität Gunma teilgenommen haben (Präsenz-IPE wurde 2019 und Online-IPE 2020 implementiert). Wir verteilten einen Fragebogen, der modifizierte Versionen der Attitudes Towards Health Care Teams Scale (ATHCTS) und des Teamwork Attitudes Questionnaire (T-TAQ) enthielt. Die Ergebnisse der Studie sollten dazu genutzt werden, die Einstellungen gegenüber Gesundheitspflegeteams und die Zusammenarbeit für die Patientensicherheit zu bewerten und dann die Unterschiede zu vergleichen.

Ergebnisse: Der Mittelwert der Subskala „Teameffizienz“ des ATHCTS war im Online-IPE-Programm signifikant niedriger als im Präsenz-IPE-Programm. Die Ergebnisse des T-TAQ in zwei Kategorien, „gegenseitige Unterstützung“ und „Kommunikation“, waren im Online-IPE-Programm signifikant höher. Dies deutet darauf hin, dass es einen ähnlichen Effekt auf die Studierenden haben könnte, die kollaborative Praxis für die Patientensicherheit lernen. Aufgrund technologischer Schwierigkeiten verringerte das Online-IPE-Programm jedoch die pädagogischen Auswirkungen auf die „Teameffizienz“. Die Verbesserungen in „gegenseitiger Unterstützung“ und „Kommunikation“ im Online-IPE-Programm deuten auf die Notwendigkeit einer kollaborativen Praxis für die Patientensicherheit hin.

Fazit: Diese Ergebnisse deuten darauf hin, dass ein Online-IPE-Programm für Patientensicherheit insgesamt bessere Ausbildungseffekte erzielen kann, aber es müssen Anstrengungen unternommen werden, um die damit verbundenen technischen Schwierigkeiten zu minimieren.


Schlüsselwörter

Gesundheitspflege-Berufe, interprofessionelle Ausbildung, Patientensicherheit, Differenz-von-Differenzen-Ansatz, Online-Programm

1. Einleitung

Nützliche Kommunikation, die eine gut funktionierende Teamarbeit untermauert, spielt eine wichtige Rolle für eine sichere Gesundheitsversorgung, einschließlich der Patientensicherheit [1]. Vincent beschrieb Organisationen mit einer positiven Sicherheitskultur als „gekennzeichnet durch eine auf gegenseitigem Vertrauen basierende Kommunikation, durch eine gemeinsame Wahrnehmung der Bedeutung von Sicherheit und durch Vertrauen in die Wirksamkeit von Präventionsmaßnahmen“ [2]. Um sich für die interprofessionelle Zusammenarbeit während der Universität zu trainieren, ist eine interprofessionelle Ausbildung (IPE) für alle Pflegeberufe, und ein solcher Ansatz ist in den Entwürfen für neue medizinische Zulassungsvorschriften [3] vorgesehen. Die Kultur der Patientensicherheit einer bestimmten Gruppe oder Institution wird durch die individuellen Einstellungen ihrer Gesundheitspflegemitarbeiter geprägt. Die Einstellung zur kollaborativen Praxis muss durch einen pädagogischen Ansatz gefördert werden, nämlich durch IPE-Programme, die „in hohem Maße in der Lage sind, Kompetenzen für die kollaborative Praxis zu kultivieren, um für die Patientensicherheit zusammenzuarbeiten“ [4]. Nicht nur die Prävention, sondern auch das aktive konstruktive Fehlermanagement trägt zur Patientensicherheit bei [5].

Die Weltgesundheitsorganisation erklärte den Ausbruch der Coronavirus-Krankheit 2019 (COVID-19) am 11. März 2020 zur Pandemie [6]. Am 11. April 2020 rief der japanische Premierminister auf der Grundlage des Gesetzes über Sondermaßnahmen für die Vorbereitung auf eine Grippe-Pandemie und neue Infektionskrankheiten und die Reaktion darauf den landesweiten Notstand aus [7]. Es wurden schnell Vorlesungen entwickelt, die online über Zoom gehalten werden konnten, da technologisch fortgeschrittene Ansätze bekanntermaßen in der Lage sind, das Engagement unter den Medizinstudenten zu erhöhen [8]. Eine wachsende Zahl von Hochschulen und Universitäten arbeitet an einem Übergang von traditionellem Präsenzunterricht zu Online-Lehrmethoden oder einer Mischung aus beiden [9]. Allerdings ist es für die Studierenden manchmal schwieriger, sich während des Online-Unterrichts, zum Beispiel über Zoom, zu konzentrieren und sich zu beteiligen [10], [11].

Meta-Analysen von Studien über die Auswirkungen von E-Learning haben ergeben, dass die Online-Ausbildung verschiedene berufliche Kompetenzen verbessern kann, darunter Einstellungen, Kenntnisse, Fähigkeiten und Verhaltensweisen, und sie haben berichtet, dass das Online-Lernen „genauso effektiv sein kann wie die physische Anwesenheit in einem traditionellen Klassenzimmer“ [12], [13]. Folglich ist virtueller oder Fernunterricht zu einer der wichtigsten Formen des Bildungswesens geworden, und die Informationstechnologie hat viele Möglichkeiten für die Ausbildung geschaffen [14]. Vor der COVID-19-Pandemie war das Internet ein wesentliches und nützliches Instrument für den Fernunterricht, spielte aber nur eine ergänzende Rolle in traditionellen und konventionellen Klassen [14]. In einigen Studien wurden keine Leistungsunterschiede nach Modalität festgestellt (z. B. Online- vs. Präsenz-Veranstaltungen) [15], [16]. Darüber hinaus wurden keine Unterschiede in den akademischen Ergebnissen zwischen Präsenz- und Online-Lernen festgestellt [17], [18]. In der gegenwärtigen Phase der Pandemie mögen die Rollen von Präsenz- und Online-Lernen vergleichbar sein, aber die Mittel, mit denen die Ergebnisse für die Lernenden erreicht werden, erfordern unterschiedliche Formen von Fachwissen [19]. Obwohl viele Studien die Auswirkungen von IPE zwischen Online- und Präsenzlernen vor der Pandemie [20], [21], [22], [23] evaluierten, haben nur wenige die Auswirkungen von IPE auf die Förderung einer kollaborativen Kultur für die Patientensicherheit, im Vergleich mit den Zeiträumen vor und nach dem Beginn der Pandemie, bewertet.

Der Differenz-von-Differenzen-Ansatz (DID) hat eine lange Geschichte in Disziplinen außerhalb der Epidemiologie [24] und kann auf „jedes Modell angewendet werden, bei dem die Ergebnisse in mindestens zwei Gruppen zu unterschiedlichen Zeitpunkten beobachtet werden, unter der Annahme, dass Konvertierungsfaktoren zeitlich unveränderlich sind“ [25], [26]. Die DID-Methode ergibt unparteiische Effektschätzungen, solange der Trend über die Zeit zwischen den Interventions- und Vergleichsgruppen gleich ist [27]. Vor diesem Hintergrund untersuchte die vorliegende Studie, mit dem Ziel, einen Lehrplan zu entwickeln, der eine kollaborative Kultur für die Patientensicherheit fördern kann, die Auswirkungen eines IPE-Programms für Studierende vor und nach dem Ausbruch der COVID-19-Pandemie mit dem DID-Ansatz.

2. Methoden

2.1. Studiendesign

Die DID-Methode wurde verwendet, um Studierende zu bewerten, die an einem IPE-Programm an der Universität Gunma teilgenommen haben, die im Jahr 2019 ein Präsenz-IPE und im Jahr 2020 ein Online-IPE implementiert hat.

2.2. Untersuchungspopulation

Die Medizinische Fakultät der Universität Gunma besteht aus der Schule für Medizin (GUSM, Einschreibung: 120 Studierende) und der Schule für Gesundheitswissenschaften der Universität Gunma (GUSHS, Einschreibung: 160 Studierende), einschließlich der Abteilungen für Pflege (NS, 80 Studenten), Laborwissenschaften (LS, 40 Studenten), Physotherapie (PT, 20 Studierende) und Ergotherapie (OT, 20 Studierende) [4], während bei der Takasaki Universität für Gesundheit und Soziales die Fakultät für Pharmazeutik (TUHWFP, Einschreibung: 90 Studierende) aus der Abteilung für Pharmazeutik besteht. Die Universität Gunma hat ein Kreditübertragungssystem für Studierende der TUHWFP. Das aktuelle IPE-Programm an der Universität Gunma hat Pflichtfächer für Studenten des dritten Jahres der GUSHS und Wahlfächer für Studenten des vierten Jahres der GUSM sowie für Studierende des fünften Jahres der TUHWFP eingeführt. Insgesamt haben 22 (14 im Jahr 2019 und 8 im Jahr 2020) von 240 Studierenden der GUSM, 315 (162 im Jahr 2019 und 153 im Jahr 2020) von 315 Studierenden der GUSHS und 30 (20 im Jahr 2019 und 10 im Jahr 2020) von 180 Studierenden der TUHWFP an diesem Unterrichtsprogramm teilgenommen. Wir verteilten den Fragebogen an alle eingeschriebenen Studierenden. Die vorliegende Studie wurde während der akademischen Jahre 2019 und 2020 durchgeführt.

2.3. Studienumfeld

2.3.1. Interprofessionelles Bildungsprogramm an der Universität Gunma

Das Programm wurde auf Studierende im akademischen Jahr 2019 wie zuvor angewendet [28] und im akademischen Jahr 2020 als ein Online-Hybrid-Prozess. Die Unterschiede zwischen den akademischen Jahren 2019 und 2020 waren wie folgt:

  1. Im Jahr 2019 wurde Präzenz-Unterricht für kurze Studierende des Programms erteilt und zur Vorstellung der Fakultät eingesetzt, während im Jahr 2020 Unterricht über Zoom erteilt wurde [https://zoom.us/ja/signin#/login]. Alle Materialien wurden im Jahr 2019 manuell von der Fakultät und im Jahr 2020 online über das Moodle Open-Source Learning Learning Management System verteilt [https://mdl.media.gunma-u.ac.jp/GU/index.php] verteilt.
  2. In jeder Gruppe wurde durch ein Sportspiel ein Zusammengehörigkeitsgefühl gefördert, um im Jahr 2019 bevorzugte Schulungseinrichtungen für den Präsenz-Unterricht zu erwerben, während das Programmkomitee im Jahr 2020 die Schulungseinrichtung zufällig auswählte.
  3. Gruppenarbeit vor dem klinischen Schulung zur Vorbereitung der Schulungsagenda und zur Planung der klinischen Schulung wurden 2019 als Präsenzveranstaltung durchgeführt, während solche Sitzungen im Jahr 2020 über Zoom und Google Docs durchgeführt wurden.
  4. Im Jahr 2019 wurde in jeder Schulungseinrichtung eine klinische Schulung durchgeführt, während die Studierenden aufgrund der COVID-19-Pandemie im Jahr 2020 keine klinische Ausbildung in einer Schulungseinrichtung erhalten konnten. Stattdessen lernten die Studierenden im Jahr 2020 interprofessionelle Zusammenarbeit in Schulungseinrichtungen durch formale Briefkommunikation.
  5. Im Jahr 2019 wurden Gruppenarbeitssitzungen nach der klinischen Training in Präsenz durchgeführt, um einen Bericht über die Erfolge und Erkenntnisse der einzelnen Gruppe zu erstellen, während solche Sitzungen im Jahr 2020 über Zoom, Google Docs und Google Slides durchgeführt wurden.
  6. Im Jahr 2019 trafen sich die Leiter der klinischen Praxis in den Schulungseinrichtungen persönlich, um eine Präsentation zu geben und das Teamwork bei einem Debriefing-Meeting zu diskutieren, während die Treffen im Jahr 2020 über Zoom abgehalten wurden.
  7. Eine Abschlusssitzung und eine Generalversammlung zur Vorbereitung des Abschlussberichts wurden 2019 in Präsenz durchgeführt, während sie im Jahr 2020 über Zoom und Google Docs durchgeführt wurden.
  8. Bewertungsumfragen vor und nach der Schulung wurden im Jahr 2019 auf Papier durchgeführt, während sie im Jahr 2020 über Google Forms durchgeführt wurden.
  9. Die Studierenden wurden im Jahr 2020 während des Übergangs vom traditionellen zum Online-Unterricht mit drei großen Herausforderungen konfrontiert. Erstens erlebten sie technische Probleme beim Versuch, auf Moodle, Google und Zoom zuzugreifen. Deshalb wurde ihnen zu Semesterbeginn und über Zoom eine technische Einweisung zum Online-System gegeben. Zweitens war die heimische Internet-Umgebung ein Problem für einige Studierende. Als Antwort darauf begann die Universität, kostenlosen Internetzugang über gemietete Pocket-Wi-Fi-Geräte zu bieten. Schließlich war die Notwendigkeit, einen PC zum Internetzugang und zum unabhängigen Drucken von Papieren ein finanzielles Problem für einige Studierende. Um dieses Problem zu lösen, subventionierten Elterngruppen von GUSHS einen Teil der Kosten.

2.4. Umfrageinstrumente

Die 21 Punkte enthaltende Attitudes Toward Health Care Teams Skala (ATHCTS) soll ermöglichen, klinisch basierte Teamschulungsprogramme zu bewerten und als ein Vor- und Nachprüfungsinstrument für Bildungsmaßnahmen mit Teams [29] eingesetzt zu werden. In der vorliegenden Studie haben wir eine modifizierte 14-Punkte-Version des ATHCTS [30] verwendet, die Punkte mit dem Wort „Arzt“ entfernte, um die Einstellungen gegenüber Gesundheitspflegeteams zu messen. Die vorliegende Studie enthält sowohl Medizinstudenten als auch Gesundheitsfachkräfte. In der vorangegangenen Studie wurde berichtet, dass es möglicherweise nicht geeignet ist, Punkte zu verwenden, die sich nur an Ärzte wenden [31]. Es ist zu beachten, dass drei Punkte (Nr. 2, 6 und 9) in der Analyse invertiert wurden. Die Antworten wurden auf einer Likert-Skala mit fünf Punkten von 1 (stimme überhaupt nicht zu) bis 5 (stimme voll und ganz zu) gegeben, wobei ein höherer Wert auf eine positivere Einstellung gegenüber Gesundheitspflegeteams hinweist [31]. Dieses Instrument hat sich als sehr gut in seiner Gültigkeit und Zuverlässigkeit erwiesen [23].

Eine modifizierte japanische Version des Teamwork Attitudes Questionnaire (T-TAQ), eines der am häufigsten verwendeten Instrumente in Umfragen zur Beurteilung von Einstellungen zu Teamarbeit für die Patientensicherheit [32], wurde verwendet, um Einstellungen in Bezug auf die Zusammenarbeit für die Patientensicherheit zu bewerten. Diese modifizierte T-TAQ umfasste vier rückwärts kodierte Punkte (Punkt Nr. 20, 21 und 24 in der Kategorie Gegenseitige Unterstützung und Nr. 30 in der Kategorie Kommunikation) die mit Verweis auf eine frühere Studie in positive Wortlaute geändert wurden [33]. In Japan wurden das Konzept, die Methoden und die Bewertungsmethoden von TeamSTTEPS auf Japanisch festgelegt, so wie sie vom modifizierten T-TAQ verwendet werden [33]. Die Antworten wurden auf einer 5-Punkte-Likert-Skala von 1 (stimme überhaupt nicht zu) bis 5 (stimme voll und ganz zu) nach den Methoden von Baker et al. [32] geliefert. Dieses Instrument hat sich außerdem als sehr gut validiert und zuverlässig erwiesen [4].

2.5. Studienablauf

Diese Studie wurde in den akademischen Jahren 2019 und 2020 durchgeführt. Während des ersten Semesters haben die für jede Klasse verantwortlichen Professoren eine Einstellungsumfrage bei den Studierenden durchgeführt.

2.6. Statistische Analyse

Die Daten von Studierenden der Universität Gunma und der Takasaki Universität für Gesundheit und Soziales wurden mit der japanischen Version von IBM SPSS für Windows (Version 25.0) analysiert. Diese Methode ist praktisch, um alle fehlenden Daten aus einem Datensatz zu entfernen.

Die explorative Faktoranalyse wurde auf der Skala durchgeführt, um die zugrundeliegenden Konstrukte der Umfrage zu untersuchen. Die Eignung der Korrelationsmatrix wurde mit Hilfe der Kaiser-Meyer-Olkin-Schätzung der Stichprobenadäquanz und des Bartletts Sphärizitätstests bestimmt. Unter Verwendung des Kaiser-Kriteriums wurde die Anzahl der für die Anfangslösungen und in die Rotationen eingegebenen Faktoren bestimmt (Eigenwerte >1). Die anfänglichen Faktorextraktionen wurden durch eine Hauptkomponentenanalyse durchgeführt. Anschließend wurde eine explorative Faktorenanalyse mit Varimax-Rotation durchgeführt, um eine klarere Struktur zu definieren [4], [34], [35]. Als nächstes wurden die Regressionsfaktorwerte in der Skala berechnet, um festzustellen, wie die resultierenden Faktoren den Unterschied bei der Einschreibung von Studierenden zwischen 2019 und 2020 an der Universität Gunma und der Takasaki Universität für Gesundheit und Soziales [36] beeinflussten.

Da die Daten nicht normal nach dem Shapiro-Wilk-Test verteilt waren, wurde Wilcoxons signierter Rang-Summe-Test zur Analyse unabhängiger Variablen verwendet. Das Signifikanzniveau wurde für alle Tests auf 5% festgelegt [23].

Die DID-Methode wurde als Ansatz gewählt, um Vergleiche über einen längeren Zeitraum zwischen nicht zufälligen Populationen zu ermöglichen [37] und für den Vergleich der Behandlungsgruppe vor und nach dem Eingriff mit einer Kontrollgruppe aus einer entsprechend passenden Vergleichskontrollstelle, die den Eingriff nicht erhalten hat [27], [38]. Wie unten genauer beschrieben, ist die Anwendung von Propensity-Score-Methoden im Kontext von DID-Modellen dadurch erschwert, dass es nicht mehr nur zwei Gruppen gab (Intervention und Vergleich) [27]; wir definierten g=1 für Online im Jahr 2020, g=0 für Präsenzunterricht im Jahr 2019, t=1 nach der Schulung und t=0 vor der Schulung. Ugt wird als Mittelwert einer Ergebnisvariable in Gruppe g zum Zeitpunkt t angenommen. Wir berechneten die Differenz zwischen den Mittelwerten zwischen post und pre im Online-Vergleich 2020 (B=U11-U10), zwischen post und pre bei Präsenzunterricht im Jahr 2019 (A=U01–U00). Wir berechneten DID (C=B–A).

Diese Studie wurde vom Ethikausschuss für medizinische Forschung mit menschlichen Versuchspersonen der der Universität Gunma (Nr. HS2016-107) genehmigt. Die Umfrageantworten wurden vertraulich behandelt und Namen und andere Formen der persönlichen Identifizierung wurden zur Analyse entfernt. Die schriftliche Einwilligung aller Teilnehmer zur Veröffentlichung der Ergebnisse wurde eingeholt.

3. Ergebnisse

3.1. Demographie der befragten Stichprobe

Die Umfrage wurde von 315 der 367 Studenten an der Universität Gunma und der Takasaki Universität für Gesundheit und Soziales beantwortet, für eine Gesamtansprechrate von 85,8%; 172 (87,8%) und 143 (83,6%) Die Studierenden haben die Umfrage in den Jahren 2019 und 2020 beantwortet (siehe Tabelle 1 [Tab. 1]).

Tabelle 1: Antwortende Musterdemografik

3.2. Einstellungsänderungen nach dem modifizierten ATHCTS

Der Kaiser-Meyer-Olkin-Index betrug 0,925, was auf eine ausreichende Probenahme hindeutet, und der Bartlett Sphärizitäts-Chi-Quadrat-Index betrug 3633,26 (p<0,001), wodurch die Null-Hypothese, dass die Korrelationsmatrix eine Identitätsmatrix und somit für die Faktorenanalyse ungeeignet sei, überzeugend zurückgewiesen wurde. Cronbachs Alpha für 14 Punkte betrug 0,775, was einen hohen Grad interner Konsistenz anzeigt. Der modifizierte ATHCTS-Fragebogen wurde in drei Subskalen kategorisiert, „Qualität der Versorgung“, „Patientenzentrierte Pflege“ und „Teameffizienz“, mit Cronbachs Alpha-Maßen von 0,878, 0,822 bzw. 0,479. Die Faktorlösungen entsprachen gut denen aus einer früheren Studie [32].

Wie Abbildung 1 [Abb. 1] zeigt, wurden im Jahre 2019 die Regressionsfaktorwerte für „Qualität der Versorgung“ und „Patientenzentrierte Pflege“ nach der Schulung wesentlich gesteigert (jeweils -0,053±0,750 vs. 0,032±0,965, Z=-1,984, p=0,47 and -0,308±0,798 vs. 0,202±0,879, Z=-6,795, p<0,001), wogegen minimale Änderung für „Teameffizienz“ gesehen wurde (0,061±0,697 vs. 0,022±0,941, Z=-0,722, n.s.). Mittlerweile waren im Jahr 2020 die Regressionsfaktorwerte für „patientenzentrierte Pflege“ wesentlich gesteigert (-0,129±0.722 vs. 0,252±0,854, Z=-5,082, p<0,001), wogegen diejenigen für „Teameffizienz“ nach der Schulung wesentlich verringert waren (0,079±0,690 vs. -0,177±0,736, Z=-4,053, p<0,001). Darüber hinaus waren die Regressionsfaktorwerte für „Teameffizienz“ im Jahr 2020 deutlich niedriger als jene im Jahr 2019 im Vergleich zur Post-IPE-Phase.

Abbildung 1: Vergleich der Regressionsfaktorwerte auf dem modifizierten ATHCTS zwischen 2019 und 2020

3.3. Einstellungsänderungen nach dem T-TAQ

Wie Abbildung 2 [Abb. 2] dargestellt, wurden die Mittelwerte für „Teamstruktur“, „Führung“ und „Situationsüberwachung“ im Jahr 2019 nach dem Training signifikant erhöht (jeweils 3,939±0,419 vs. 4,110±0,520, Z=-5,405, p<0,001, 4,101±0,501 vs. 4,199±0,553, Z=-3,049, p=0,002, und 4,213±0,447 vs. 4,335±0,547, Z=-4,299, p<0,001), während keine signifikanten Veränderungen in der Einstellung der Studierenden im Hinblick auf „gegenseitige Unterstützung“ oder „Kommunikation“ ersichtlich waren (jeweils 4,245±0,467 vs. 4,223±0,461, Z=-0,376, n.s., und 4,026±0,512 vs. 4,015±0,535, Z=-0,018, n.s). Im Jahr 2020 waren die Mittelwerte für „Teamstruktur“, „Situationsüberwachung“, „gegenseitige Unterstützung“ und „Kommunikation“ wesentlich gesteigert (jeweils 4,059±0,396 vs. 4,231±0,448, Z=-4,168, p<0,001, 4,353±0.420 vs. 4,448±0,442, Z=-2,802, p=0,005, 4,268±0,451 vs. 4,445±0,447, Z=-4,658, p<0,001 und 4,090±0,399 vs. 4,294±0,442, Z=-5,446, p<0,001), wogegen keine wesentliche Änderung in den Einstellungen der Studierenden im Hinblick auf „Führung“ gesehen wurde (4,224±0,427 vs. 4,266±0,423, Z=-1,501, n.s.). Desweiteren waren die Mittelwerte für „gegenseitige Unterstützung“ und „Kommunikation“ in der Post-IPE-Phase im Jahr 2020 deutlich höher als im Jahr 2019.

Abbildung 2: Vergleich des Mittelwertes von T-TAQ zwischen 2019 und 2020

3.4. Vergleichende Bewertung zwischen den beiden Studienjahren mittels der DID-Methode

Wie in Tabelle 2 [Tab. 2] gezeigt, weisen die Ergebnisse der DID-Analyse darauf hin, dass „Teameffizienz“ mit wesentlich niedrigeren Werten im Online- als im Präsenz-IPE-Programm verbunden war (-0,247; 95% Konfidenzintervall [CI], -0,354 bis 0,047; Z=-2,454, p=0,014). Die DID-Analyse zeigte auch keine signifikanten Unterschiede zwischen Präsenz- und Online-IPE in Bezug auf weder „Qualität der Versorgung“ noch “ „Patientenzentrierte Pflege“ auf (jeweils -0,161; 95% CI, -0,412 bis 0,106; Z=-1.122, n.s., und -0,135; 95% CI, -0,322 bis 0,127; Z=-1,260, n.s.).

Tabelle 2: Differenz-von-Differenzen-Analyse des Mittelwerts bei modifiziertem ATHCTS zwischen Präsenz im Jahr 2019 und Online im Jahr 2020

Wie Tabelle 3 [Tab. 3] ausführt, weisen die Ergebnisse der DID darauf hin, dass „gegenseite Unterstützung“ und „Kommunikation“ mit höheren Werten im Online- als im Präsenz-IPE-Programm verbunden waren (jeweils 0,194; 95% CI, 0,057 bis 0,318; Z=3,035, p=0,002, und 0,216; 95% CI, 0,062 bis 0,337; Z=3,196, p=0,001). Hingegen wurden keine signifikanten Unterschiede bei den Mittelwerten der Unterschiede in der „Teamstruktur“ (-0,004; 95% CI, -0,118 bis 0,128; Z=-0,426, n.s.), „Führung“ oder „Situationsüberwachung“ (jeweils -0,057; 95% CI, -0,178 bis 0,064; Z=-1,325, n.s., und -0,034; 95% CI, -0,162 bis 0,088; Z=-0,905, n.s.) zwischen Präsenz- und Online-IPE-Programmen festgestellt.

Tabelle 3: Differenz-von-Differenzen-Analyse des Mittelwerts bei T-TAQ zwischen Präsenz im Jahr 2019 und Online im Jahr 2020

4. Diskussion

Die vorliegenden Ergebnisse deuten darauf hin, dass die Effekte auf Einstellungen in den meisten Kategorien, mit Ausnahme von „gegenseitiger Unterstützung“ und „Kommunikation“ im T-TAQ-Instrument für das Online-IPE-Programm gleich oder positiver waren. Insbesondere die studentische Einstellung zu „patientenzentrierter Pflege“ im modifizierten ATHCTS und „Teamstruktur“, „Führung“ und „Situationsüberwachung“ im T-TAQ veränderte sich das Ergebnis in ähnlichem Ausmaß signifikant zum Besseren. Studien zum E-Learning werden als wirksam zur Verbesserung verschiedener beruflicher Kompetenzen und Einstellungen [12], [13] vorgeschlagen. Sie spielen eine wichtige und komplementäre Rolle im Fernunterricht [14]. Einige vergleichende Studien haben keine Unterschiede in den Auswirkungen auf die akademischen Ergebnisse zwischen Präsenz- und im Online-Lernen [15], [16], [17], [18] berichtet. Daher können Online-IPE-Programme einen ähnlichen Effekt für Studierende haben, die eine kollaborative Praxis für die Patientensicherheit als Ganzes erlernen.

Bezüglich der Änderungen in Einstellungen gemäß dem modifizierten ATHCTS war der Durchschnittswert des Unterschieds in der „Teameffizienz“ im Online-IPE-Programm gemäß der DID-Methode jedoch signifikant niedriger als im Präsenz-IPE-Programm. Dies entsprach gut dem Ergebnis, dass der Mittelwert der Subskala „Teameffizienz“ des ATHCTS war Online-IPE-Programm signifikant niedriger als im Präsenz-IPE-Programm war. Darüber hinaus änderte sich der Mittelwert der Subskala selbst im persönlichen IPE-Programm nicht, während er im Online-IPE-Programm signifikant verringert wurde. Diese Ergebnisse zeigen, dass das Online-IPE-Programm die Wahrnehmung von „Teameffizienz“ reduziert hat, aber der positive Effekt des persönlichen IPE-Programms verblieb. Allerdings hatten Studierende, die im akademischen Jahr 2020 über das Online-IPE-Programm lernten, technische Schwierigkeiten beim Zugriff auf Moodle, Google und Zoom. Beim Online-Lernen sind technologische Schwierigkeiten häufig ein wichtiger Störfaktor und können zu einem Verlust der Kollegialität führen, die normalerweise mit dem Präsenz-Lernen verbunden ist [39]. Manche Menschen betrachten das Online-Lernen als isolierend im Vergleich zu traditionellen Lernmethoden, weil es keine Möglichkeit für eine substanzielle soziale Verbindung gibt [40]. Die Verschiebung von traditionellen klassenraumbezogenen Ansätzen hat dazu geführt, dass sich einige Lernende isoliert fühlen, während andere eine mangelnde Unterstützung durch ihre Online-Ausbilder festgestellt haben [41]. Diese Ergebnisse legen nahe, dass Online-Programme die Einstellungen der Lernenden in Bezug auf „Teameffizienz“ aufgrund von technologischen Schwierigkeiten signifikant negativ beeinflussen können, die durch den Mangel an sozialen Verbindungen noch verstärkt werden könnte. Diese Ergebnisse implizieren, dass die mit der geografischen Situation eines Studierenden verbundenen Nachteile gemindert werden können, indem die Werkzeuge für E-Learning leichter verwendbar gemacht werden.

Interessanterweise war der Mittelwert des Unterschieds in „gegenseitige Unterstützung“ beim Online-Lernen signifikant höher als bei Präsenz-Lernen im IPE-Programm, was durch die DID-Methode verdeutlicht wird. Diese Ergebnisse entsprachen gut der Tatsache, dass die Mittelwerte des Regressionsfaktors für "gegenseitige Unterstützung" im Online-Programm signifikant höher waren als bei dem Präsen-Programm in der Post-IPE-Phase. Zudem änderte sich der Mittelwert der Kategorie nicht in Reaktion auf das Präsenz-IPE-Programm, während der Mittelwert im Online-IPE-Programm signifikant anstieg. Diese Ergebnisse zeigen, dass das Online-IPE-Programm die Einstellungen der Studierenden zur „gegenseitigen Unterstützung“ signifikant verbesserte, aber nicht den negativen Effekt des Präsenz-IPE-Programms beseitigte. Online-IPE-Programme haben gezeigt, dass sie zu einem deutlichen Anstieg der Einstellungen von Studierenden gegenüber der Arbeit in interprofessionellen Teams vor und nach der COVID-19-Pandemie führen [42], [43]. Studien über die Auswirkungen von E-Learning haben ergeben, dass diese Art der Ausbildung die berufliche Einstellung als eine der Kompetenzen verbessern kann [44]. Die Szenarien sind als formativ und summativ beschrieben, wodurch „die Teilnehmer ihre teambasierten Fähigkeiten unter Beweis stellen können, einschließlich Kommunikation, gegenseitige Unterstützung, Führung und Situationsüberwachung“ [45]. Bereits in der studentischen Ausbildung muss ein gemeinsamer Rahmen zur Beschreibung des Best-Practice-Modells interprofessioneller Interaktionen entwickelt werden. Um den idealen Zeitpunkt der Simulationen in jedem Programm zu identifizieren, wurde curriculares Mapping durchgeführt, um eine nachhaltige curriculare Interaktion und Vergleichbarkeit in der klinischen Vorbereitung von Studierenden auf die Teilnahme zu gewährleisten [46]. Darüber hinaus können Online-IPE-Programme, die ein Fallbeispiel nutzen, die Lerneffekte der gegenseitigen Unterstützung verstärken, sowie die klinische Vorbereitung auf die Teilnahme an der Erlernung der Rolle des eigenen Berufs und der Rolle anderer.

Der Mittelwert des Unterschieds in „gegenseitige Unterstützung“ war beim Online-Lernen signifikant höher als bei Präsenz-Lernen im IPE-Programm, was durch die DID-Methode verdeutlicht wird. Die Änderung im Mittelwert selber war auch ähnlich wie der bei „gegenseitigen Unterstützung“, was anzeigt, dass das Online-IPE-Programm die Einstellung der Studierenden zur „Kommunikation“ signifikant verbesserte, aber nicht den negativen Effekt des Präsenz-IPE-Programms beseitigte. Bei der Implementierung von Präsenz-IPE ohne Komponenten der Patientensicherheit im Jahr 2018 [4] konnte keine signifikante Verbesserung in den Einstellungen der Studierenden zur „Kommunikation“ festgestellt werden. Der Vorteil von E-Learning-Methoden besteht darin, dass sie ein Gefühl der gemeinschaftlichen Zusammenarbeit unter den teilnehmenden Lernenden fördern können [41]. Die Online-Umgebung hat große Möglichkeiten für die Interaktion zwischen Lehrenden und Lernenden geschaffen und das gemeinschaftliche Lernen in den Vordergrund der Fernausbildung gestellt [47]. Standardisierte Patienten können als standardisierte Familienmitglieder ausgebildet werden, um das Lernen der Studierenden zu verbessern, insbesondere bei der Kommunikation von schwer verständlichen Themen [48]. Daher können Online-IPE-Programme die für eine kollaborative Praxis erforderliche Kommunikationshaltung für die Patientensicherheit fördern, um das Verständnis der Ansichten standardisierter Patienten und ihrer Familien zu fördern.

5. Fazit

Online-IPE-Programme scheinen eine ähnliche Wirkung auf Studierende zu haben, die kollaborative Praxis für die Patientensicherheit als Ganzes lernen. Aufgrund technologischer Schwierigkeiten können Online-IPE-Programme jedoch die pädagogischen Auswirkungen in Bezug auf die Einstellungen zur „Teameffizienz“ negativ beeinflussen, und dies kann durch fehlende Möglichkeiten für soziale Verbindungen noch verstärkt werden. Mittlerweile kann das Online-Lernen die Einstellungen zur „gegenseitigen Unterstützung“ deutlich verbessern, indem es das Verständnis für die Rolle des eigenen Berufs sowie der anderer anhand eines Fallszenarios fördert, zusätzlich zu den Einstellungen zur „Kommunikation“, die für eine kollaborative Praxis für die Patientensicherheit erforderlich sind. Insgesamt deuten diese Ergebnisse darauf hin, dass Online-IPE-Programme für Patientensicherheit insgesamt bessere Ausbildungseffekte erzielen kann, aber es müssen Anstrengungen unternommen werden, um die damit verbundenen technischen Schwierigkeiten zu minimieren.

Anmerkungen

Finanzierung

Diese Arbeit wurde teilweise durch einen Zuschuss für wissenschaftliche Forschung (TM) vom Ministerium für Bildung, Kultur, Sport, Wissenschaft und Technologie von Japan unterstützt (22K10626).

Beiträge der Autoren

SN war verantwortlich für die Konzeption, Untersuchung, Methodik, Analyse, das Schreiben der ursprünglichen Fassung und das Schreiben, Überprüfen und Bearbeiten der nachfolgenden Fassungen; TM war Hauptforscher und verantwortlich für die Konzeption, Untersuchung, Methodik, Analyse, das Schreiben der ursprünglichen Fassung und das Schreiben, Überprüfen und Bearbeiten nachfolgender Fassungen; BL, HM und ES waren für die Konzeptualisierung, Untersuchung, Datenerhebung, Überprüfung und Bearbeitung zuständig; HS war an der Überprüfung und Bearbeitung beteiligt; HW war für die Konzeptualisierung, Untersuchung, Methodik, Schreiben der ursprünglichen Fassung und Schreiben, Überprüfung und Bearbeitung nachfolgender Fassungen, Projektverwaltung und Aufsicht verantwortlich.

ORCIDs der Autor*innen

Danksagung

Wir bedanken uns bei allen Studierenden, die an der Umfrage teilgenommen haben und bei den Fakultäten der Universität Gunma für ihre Mitarbeit bei der Datenerhebung.

Interessenkonflikt

Die Autor*innen erklären, dass sie keinen Interessenkonflikt im Zusammenhang mit diesem Artikel haben.


Literatur

[1] World Health Organization. Patient safety curriculum guide: multi-professional edition. Geneva: World Health Organization; 2011.
[2] Vincent C. Patient safety. 2nd ed. Oxford, UK: Wiley-Blackwell; 2015.
[3] Walkenhorst U, Mahler C, Aistleithner R, Hahn EG, Kaap-Fröhlich S, Karstens S, Reiber K, Stock-Schröer B, Sottas B. Position statement GMA Committee – “Interprofessional Education for the Health Care Professions”. GMS Z Med Ausbild. 2015;32(2):Doc22. DOI: 10.3205/zma000964
[4] Watanabe H, Makino T, Tokita Y, Kishi M, Lee B, Matsui H, Shinozaki H, Kama A. Changes in attitudes of undergraduate students learning interprofessional education in the absence of patient safety modules: evaluation with a modified T-TAQ instrument. J Interprof Care. 2019;33(6):689-696. DOI: 10.1080/13561820.2019.1598951
[5] Wipfler K, Hoffmann JE, Mitzkat A, Mahler C, Frankenhauser S. Patient safety - Development, implementation and evaluation of an interprofessional teaching concept. GMS J Med Educ. 2019;36(2):Doc13. DOI: 10.3205/zma001221
[6] World Health Organization. General’s opening remarks at the media briefing on COVID-19 - 11 March 2020. Geneva: World Health Organization; 2020. Zugänglich unter/available from: https://www.who.int/director-general/speeches/detail/who-director-general-s-opening-remarks-at-the-media-briefing-on-covid-19---11-march-2020
[7] Amengual O, Atsumi T. COVID-19 pandemic in Japan. Rheumatol Int. 2021;41(1):1-5. DOI: 10.1007/s00296-020-04744-9
[8] Kay D, Pasarica M. Using technology to increase student (and faculty satisfaction with) engagement in medical education. Adv Physiol Educ. 2019;43(3):408-413. DOI: 10.1152/advan.00033.2019
[9] Orleans M. Cases on critical and qualitative perspectives in online higher education. Hershey, PA: IGI Global; 2014. DOI: 10.4018/978-1-4666-5051-0
[10] Peper E, Wilson V, Martin M, Rosegard E, Harvey R. Avoid Zoom fatigue, be present and learn. Neuro Regulation. 2021;8(1):47-56. DOI: 10.15540/nr.8.1.47
[11] Speidel R, Felder E, Schneider A, Öchsner W. Virtual reality against Zoom fatigue? A field study on the teaching and learning experience in interactive video and VR conferencing. GMS J Med Educ. 2023; 40(2): Doc19. DOI: 10.3205/zma001601
[12] Cook DA, Levinson AJ, Garside S, Dupras DM, Erwin PJ, Montori VM. Internet-based learning in the health professions: a meta-analysis. JAMA. 2008;300(10):1181-1196. DOI: 10.1001/jama.300.10.1181
[13] Thomas AU, Fried GP, Johnson P, Stilwell BJ. Sharing best practices through online communities of practice: a case study. Hum Resour Health. 2010;8:25. DOI: 10.1186/1478-4491-8-25
[14] Borhani F, Vatanparast M, Zadeh AA, Ranjbar H, Pour RS. Virtual education effect on cognitive learning and attitude of nursing students towards it. Iran J Nurs Midwifery Res. 2011;16(4):321-324.
[15] O’Dwyer LM, Carey R, Kleiman G. A study of the effectiveness of the Louisiana Algebra I online course. J Res Technol Educ. 2007;39(3):289-306. DOI: 10.1080/15391523.2007.10782484
[16] Driscoll A, Jicha K, Hunt AN, Tichavsky L, Thompson G. Can online courses deliver in-class results? Teach Sociol. 2012;40(4):312-331. DOI: 10.1177/0092055X12446624
[17] Bernard RM, Abrami PC, Lou Y, Borokhovski E, Wade A, Wozney L, Wallet PA, Fiset M, Huang B. How does distance education compare with classroom instruction? A meta-analysis of the empirical literature. Rev Educ Res. 2004;74(3):379-439. DOI: 10.3102/00346543074003379
[18] Steinweg SB, Davis ML, Thomson WS. A comparison of traditional and online instruction in an introduction to special education course. Teach Educ Special Educ. 2005;28(1):62-73. DOI: 10.1177/088840640502800107
[19] Seymour-Walsh AE, Weber A, Bell A, Smith T. Teaching psychomotor skills online: exploring the implications of novel coronavirus on health professions education. Rural Remote Health. 2020;20(4):6132. DOI: 10.22605/RRH6132
[20] Chris, I. Online medical education for doctors: identifying potential gaps to the traditional, face-to-face modality. J Med Educ Curric Dev. 2019;6:2382120519827912. DOI: 10.1177/2382120519827912
[21] Gayed A, Tan L, LaMontagne AD, Milner A, Deady M, Milligan-Saville JS, Madan I, Calvo RA, Christensen H, Mykletun A, Glozier N, Harvey SB. A comparison of face-to-face and online training in improving managers’ confidence to support the mental health of workers. Internet Interventions. 2019;18:100258. DOI: 10.1016/j.invent.2019.100258
[22] Ildarabadi EH, Tabei MG, Khosh AM. Effects of face-to-face and online training on self-care of middle-aged and elderly people with Type 2 diabetes: a comparative study. Open Access Maced J Med Sci. 2019;7(7):1214-1219. DOI: 10.3889/oamjms.2019.275
[23] Makino T, Shinozaki H, Hayashi K, Lee B, Matsui H, Kururi N, Kazama H, Ogawara H, Tozato F, Iwasaki K, Asakawa Y, Abe Y, Uchida Y, Kanaizumi S, Sakou K, Watanabe H. Attitudes toward interprofessional healthcare teams: a comparison between undergraduate students and alumni. J Interprof Care. 2013;27(3):261-268. DOI: 10.3109/13561820.2012.751901
[24] Athey S, Imbens GW. Identification and inference in nonlinear difference-in-differences models. Econometrica. 2006;74(2):431-497. DOI: 10.1111/j.1468-0262.2006.00668.x
[25] Schneeweiss S, Stürmer T, Maclure M. Case-crossover and case-time-control designs as alternatives in pharmacoepidemiologic research. Pharmacoepidemiol Drug Saf. 1997;6(Suppl. 3):S51-S59. DOI: 10.1002/(SICI)1099-1557(199710)6:3+<S51::AID-PDS301>3.0.CO;2-S
[26] Suissa S. The case-time-control design. Epidemiol. 1995;6(3):248-53. DOI: 10.1097/00001648-199505000-00010
[27] Stuart EA, Huskamp HA, Duckworth K, Simmons J, Song Z, Chernew M, Barry CL. Using propensity scores in difference-in-differences models to estimate the effects of a policy change. Health Serv Outcomes Res Methodol. 2014;14(4):166-2. DOI: 10.1007/s10742-014-0123-z
[28] Ogawara H, Hayashi T, Asakawa Y, Iwasaki K, Matsuda T, Abe Y, Tozato F, Makino T, Shinozaki H, Koizumi M, Yasukawa T, Watanabe H. Advanced initiatives in interprofessional education in Japan. In: Koizumi M, Watanabe H, editors. The interprofessional education initiatives of Gunma University. Tokyo: Springer; 2010. p.113-129. DOI: 10.1007/978-4-431-98076-6_10
[29] Heinemann GD, Schmitt MH, Farrell MP, Brallier SA. Development of an attitudes toward health care teams scale. Eval Health Prof. 1999;22(1):123-142. DOI: 10.1177/01632789922034202
[30] Curran VR, Sharpe D, Forristall J. Attitudes of health sciences faculty members towards interprofessional teamwork and education. Med Educ. 2007;41(9):892-896. DOI: 10.1111/j.1365-2923.2007.02823.x
[31] Hayashi T, Shinozaki H, Makino T, Ogawara H, Asakawa Y, Iwasaki K, Matsuda T, Abe Y, Tozato F, Koizumi M, Yasukawa T, Lee B, Hayashi K, Watanabe H. Changes in attitudes toward interprofessional health care teams and education in the first- and third-year undergraduate students. J Interprof Care. 2012;26(2):100-107. DOI: 10.3109/13561820.2011.644355
[32] Baker DP, Amodeo AM, Krokos KJ, Slonim A, Herrera H. Assessing teamwork attitudes in healthcare: development of the TeamSTEPPS teamwork attitudes questionnaire. Qual Saf Health Care. 2010;19(6):e49. DOI: 10.1136/qshc.2009.036129
[33] Ochiai K, Kaito K. The guide of team STEPPS for Japanese. Tokyo: Medical View Co; 2012.
[34] Makino T, Lee B, Matsui N, Tokita Y, Shinozaki H, Kanaizumi S, Abe Y, Saitoh T, Tozato F, Igarashi A, Sato M, Ohtake S, Tabuchi N, Inagaki M, Kama A, Watanabe H. Health science students' attitudes towards healthcare teams: A comparison between two universities. J Interprof Care. 2018;32(2):196-202. DOI: 10.1080/13561820.2017.1372396
[35] Nozaki S, Makino T, Lee B, Matsui H, Tokita Y, Shinozaki H, Kishi M, Kamada H, Tanaka K, Sohma H, Kama A, Nakagawa K, Shinohara T, Watanabe H. First-year medical students’ attitudes toward health care teams: a comparison of two universities implementing IPE programs. Kitakanto Med J. 2021;71(2):115-21. DOI: 10.2974/kmj.71.115
[36] DiStefano C, Zhu M, Mindrila, D. Understanding and using factor scores: considerations for the applied researcher. Pract Ass Res Eval. 2009;14(20):892-896. Zugänglich unter/available from: https://scholarworks.umass.edu/cgi/viewcontent.cgi?article=1226&context=pare
[37] Nolan A. Evaluating the impact of eligibility for free care on the use of general practitioner (GP) services: a difference-in-difference matching approach. Soc Sci Med. 2008;67(7):1164-1172. DOI: 10.1016/j.socscimed.2008.06.021
[38] Round J, Drake R, Kendall E, Addicott R, Agelopoulos N, Jones L. Evaluating a complex system-wide intervention using the difference in differences method: the Delivering Choice Programme. BMJ Support Palliat Care. 2015;5(1):26-33. DOI: 10.1136/bmjspcare-2012-000285
[39] Lillis S, Gibbons V, Lawrenson R. The experience of final year medical students undertaking a general practice run with a distance education component. Rural Remote Health. 2010;10(1):1268. DOI: 10.22605/RRH1268
[40] Roberts T, Mclnnerney J. Seven problems of online group learning. Educ Technol Soc. 2007;10(4):257-268.
[41] Reeves S, Fletcher S, McLoughlin C, Yim A, Patel KD. Interprofessional online learning for primary healthcare: findings from a scoping review. BMJ Open. 2017;7(8): e016872. DOI: 10.1136/bmjopen-2017-016872
[42] Eccott L, Greig A, Hall W, Lee M, Newton C, Wood V. Evaluating students’ perceptions of an interprofessional problem-based pilot learning project. J Allied Health. 2012;41(4):185-189.
[43] Rajab MH, Gazal AM, Alkattan K. Challenges to online medical education during the COVID-19 pandemic. Cureus. 2020;12(7):e8966. DOI: 10.7759/cureus.8966
[44] Means B, Toyama Y, Murphy R, Bakia M, Jones K. Evaluation of evidence-based practices in online learning: a meta-analysis and review of online learning studies. Washington (DC): United States Department of Education; 2010. Zugänglich unter/available from: https://www2.ed.gov/rschstat/eval/tech/evidence-based-practices/finalreport.pdf
[45] US Department of Health and Human Services Agency for Healthcare Policy Research. TeamSTEPPS Home.
[46] Bridges DR, Davidson RA, Odegard PS, Maki IV, Tomkowiak J. Interprofessional collaboration: three best practice models of interprofessional education. Med Educ Online. 2011;16:6035. DOI: 10.3402/meo.v16i0.6035
[47] Russell J, Elton L, Swinglehurst D, Greenhalgh T. Using the online environment in assessment for learning: a case-study of a web-based course in primary care. Ass Eval High Educ. 2006;31(4):465-478. DOI: 10.1080/02602930600679209
[48] Lorin S, Rho L, Wisnivesky J, Nierman DM. Improving medical student intensive care unit communication skills. Crit Care Med J. 2006;34(9):1286-2391. DOI: 10.1097/01.CCM.0000230239.04781.BD