Skip to main content

Et kontrolleret studie af kort- og langtidseffekterne af et vejlederkursus - sekundærpublikation

1. reservelæge Sune Rubak, overlæge Lene Mortensen, overlæge Charlotte Ringsted & overlæge Bente Malling Århus Universitetshospital, Skejby, Pædiatrisk Afdeling, Viborg Hospital, Medicinsk Afdeling, og Aarhus Universitet, Center for Medicinsk Uddannelse

24. okt. 2008
10 min.


I studiet undersøgtes effekten af et tredages internatsvejlederkursus for læger. Af interventionsgruppens speciallæger og yngre læger gennemførte 98,4%. Deres viden om læring og klinisk oplæring var forbedret med 25% efter vejlederkurset, hvilket var fastholdt efter seks måneder. Interventionsgruppen forbedrede signifikant brugen af feedback og supervision fra en score på 4 til 6 (maks. score = 9). Konklusion var, at et tredages vejlederkursus har effekt på lægers viden om læring, undervisningsadfærd samt på uddannelsesmiljøet. En medvirkende årsag hertil kunne være, at samtlige afdelingens læger gennemførte kurset.

Vejlederkurser rettet mod postgraduat medicinsk uddannelse består sædvanligvis i at træne specifikke metoder inden for klinisk oplæring, supervision og feedback med det formål at forbedre lægers undervisningsadfærd og uddannelsesmiljøet på de kliniske afdelinger. I flere studier er der blevet påpeget et vedvarende behov for at forbedre uddannelsen af kliniske undervisere inden for den postgraduate medicinske uddannelse [1-5], og 75% af de kliniske undervisere har rapporteret et behov for undervisning i klinisk supervision [1, 6]. Evaluering af uddannelse af undervisere er sædvanligvis begrænset til reaktionsniveauet [3, 4, 7], hvorimod objektiv vurdering af læringsniveauet sjældent er omfattet [8]. Korttidseffekt af vejlederkurserne i forhold til læringsudbytte er påvist i flere studier, der har anvendt forskellige metoder herunder selvrapporterede data [3, 4] og skriftlige test [8]. Imidlertid er langtidseffekten af vejlederkurser kun undersøgt i få studier [4]. Desuden har der været udtrykt bekymring for utilstrækkelig evaluering af vejlederkurserne i forhold til adfærdsændring [8].

Formålet med dette studie var at vurdere, hvorvidt lægers viden og undervisningskompetence øges efter et vejlederkursus. Desuden evalueredes langtidseffekten af vejlederkurser på lægers adfærd i forhold til at give og modtage supervision og feedback. Endelig blev det undersøgt, om vejlederkurser havde en effekt på læringsmiljøet på en klinisk afdeling.

Metode
Design

Studiet var et interventionsstudie med præ- og postmonitorering samt seks måneders followup. Interventionsgruppen (I-gruppen) bestod af 118 læger fra fire interne medicinske afdelinger (reumatologi, endokrinologi, lungesygdom og gastroenterologi) og en ortopædkirurgisk afdeling på et universitetshospital. Kontrolgruppen (K-gruppen) bestod af 125 læger fra matchede afdelinger på et tilsvarende universitetshospital.

Interventionen

Interventionen var et tredages internatsvejlederkursus. Kurset var obligatorisk for lægerne i I-gruppen. Deltagerne blev tilfældigt fordelt på fire separate kurser, der blev afholdt over tre måneder.

Vejlederkurset var et hands-on -kursus med overvejende interaktive undervisningsmetoder og praktiske træningsseancer, rollespil m.m. Hovedtemaerne på vejlederkurset var: Supervision, feedback, hvordan gives og modtages feedback, hvordan struktureres en klinisk undervisningssituation, karriererådgivning, undervisningsplanlægning, samt hvordan forbedres læringsmiljøet.






Målemetoder

Den skriftlige test var udarbejdet i henhold til tidligere publicerede principper, se originalpublikationen. Spørgeskemaet omkring adfærd og læringsmiljø var konstrueret på baggrund af litteraturanbefalinger i pensum for vejlederkurset, se originalpublikationen.

Analyse og statistik

Data blev analyseret ved hjælp af parret t-test, envejs-ANOVA, MANOVA og Pearsons korrelationskoefficient. Effektstørrelse (ES) mellem I- og K-gruppen blev fundet ved beregning af Cohens d. Bonferronikorrektion blev anvendt og p < 0,001 var lig med statistisk signifikans på 0,05 (tosidet ), se originalpublikationen.

Resultater

Fordelingen af speciallæge/ikkespeciallæge i I- og K-gruppen var henholdsvis 49,1%/60% og 36,8%/63,2%. Fordelingen af læger på medicinske afdelinger/ortopædkirurgisk afdeling i I- og K-gruppen var henholdsvis 61,9%/38,1% og 68,8%/31,2%. I alt 116 ud af 118 (98,4%) af lægerne i I-gruppen deltog i vejlederkurset.

Ved baseline var besvarelsesprocenten på spørgeskemaet 98,4% i I-gruppen og 88,8% i K-gruppen. Ved seks måneder var besvarelsesprocenten 88,1% i I-gruppen og 84,8% i K-gruppen. Besvarelsesprocenten på den skriftlige test var ved baseline 90% (I/K-gruppen), efter vejlederkurset 92% (kun I-gruppen) og ved seks måneder 70% (I/K-gruppen).

Effekt af vejlederkurset på vidensniveau

Hos I-gruppen steg totalscoren af den skriftlige test signifikant fra et gennemsnit på 18,3% af den totale score ved baseline til 42,9% umiddelbart efter vejlederkurset. Efter seks måneder var gennemsnitsscoren 42,4%. Den gennemsnitlige forskel i totalscore fra baseline til seks måneder var 24,7% med en ES, Cohens d, på 1,64. Hos K-gruppen var der et signifikant gennemsnitligt fald i totalscoren ved baseline fra 15,9% til 9,9% efter seks måneder og en ES på 0,67. Således var der en betydelig, signifikant forskel mellem den totale testscore hos I- og K-gruppen efter seks måneder.

Delscorene vises i Tabel 1 . Punktet »give feedback« fik den laveste score af alle målepunkterne i både I- og K-gruppen. Hos I-gruppen var korrelationen mellem baseline -score og scoren umiddelbart efter kurset negativ og ikke signifikant (r = 0,125). Der var imidlertid en stærk negativ korrelation mellem total gennemsnitsscore ved baseline og øgning i scorerne (r = -0,610, p < 0,001) som en indikation på, at deltagerne med den laveste score ved baseline havde det største læringsudbytte. Korrelationen mellem totalscoren umiddelbart efter kurset og den totale gennemsnitsscore efter seks måneder var positiv (r = 0,573, p < 0,001). Hos K-gruppen var der en positiv korrelation mellem totalscore ved baseline og ved seks måneder (r = 0,496, p < 0,001).

Effekten af vejlederkurset på undervisningsadfærd og læringsmiljø

Tabel 2 viser hyppigheden i at give og modtage feedback og supervision ved baseline og seks måneder efter vejlederkurset. Seks måneder efter vejlederkurset både giver og modtager I-gruppen signifikant mere feedback og supervision end K-gruppen. Derudover havde lægerne i I-gruppen efter seks måneder ændret undervisningsadfærd og var blevet mere strukturerede. Endelig vurderes læringsmiljøet ved seks måneder som signifikant bedre af I-gruppen sammenlignet med K-gruppen.

Diskussion

Der var en stor effekt af vejlederkurset, når det blev evalueret på baggrund af skriftlig test om viden om klinisk vejledning (Cohens d på 1,64). Lægernes viden øgedes med 25%, og forbedringen var fastholdt efter seks måneder. På baggrund af et spørgeskema viser dette studie, at lægerne forbedrede deres undervisningsadfærd med 30% sammenlignet med K-gruppen efter at have gennemgået et vejlederkursus. Det betød, at de var signifikant bedre til at give og modtage feedback og supervision - et resultat, der ligeledes var fastholdt seks måneder efter vejlederkurset. Desuden var lægerne mere strukturerede i håndteringen af træningsseancerne. Efter seks måneder var læringsmiljøet i afdelingerne ændret i forhold til: 1) øget læring i forhold til fejl og nærfejl, 2) øget personlig viden hos lægerne omkring baggrunden for at undervise, 3) øgede resurser til opfyldelse af de yngre lægers læringsbehov i den daglige praksis og 4) forbedring af relevansen i træningsseancerne i afdelingen sammenlignet med K-gruppen. Dette er et af de få studier omkring langtidseffekten af vejlederkurser i forhold til undervisningsadfærd og læringsmiljø.

Styrker og begrænsninger

De største styrker ved dette studie er: 1) det store deltagerantal, 2) design med matchet kontrolgruppe, 3) at mere end 98,4% af lægerne i I-gruppen deltog i vejlederkurset og 4) den høje svarprocent ved alle målepunkterne i både I- og K-gruppen.

Effekten af læringsudbyttet ved vejlederkurset blev evalueret ved en skriftlig test. Studier har fundet en stærk korrelation mellem observeret performance (videooptagelser) og videnstest, hvilket støtter anvendelse af denne evalueringsmetode [8]. Risikoen for at have registreret en læringseffekt som følge af brug af samme test til alle målepunkter blev elimineret af K-gruppens resultater, hvor der ikke var nogen stigning i scoren efter seks måneder. Vi anvendte spørgeskemaer til at måle effekten af vejlederkurset i forhold til ændringer i undervisningsadfærd og læringsmiljø. Sensitiviteten i denne metode, hvad angår lægernes egentlige adfærd, er ukendt. For at øge sensitiviteten af disse aspekter er objektive vurderinger nødvendige (f.eks. videooptagelser eller direkte observationer). Videooptagelser har været anvendt i studier omkring kommunikationsevner og synes at være en brugbar metode [9]. Af praktiske grunde var det imidlertid ikke muligt at anvende videooptagelser i dette studie på grund af det høje deltagerantal (11 afdelinger og 242 læger).

K-gruppen viste overraskende, at viden omkring undervisningsfærdigheder, undervisningsadfærd og læringsmiljø faldt signifikant i studieperioden, hvilket kan være et udtryk for en holdningsændring i K-gruppen, idet vi havde en høj responsrate fra begge grupper og baselinescorerne ikke var forskellige. Eftersom vi ikke valgte en randomiseringsprocedure, kan der være tale om konfounding i vores studie. Dette er forsøgt mindsket ved at anvende en matchet kontrolgruppe, hvad angår speciale og hospitalstype.

Detaljerede resultater

Vi fandt, at viden fra et vejlederkursus var fastholdt efter seks måneder, hvilket ikke er set før. Den umiddelbare effekt i forhold til viden i vores studie var lidt højere end gennemsnittet på 20%, der er rapporteret i andre studier [3]. Det kan måske forklares ved, at alle afdelingens læger deltog i kurset og dermed måske har fået et fælles sprog for supervision og feedback i klinikken. Den samlede deltagelse har ligeledes medvirket til at opnå såkaldt »kritiske masse«, dvs. at et »flertal« af afdelingens læger bruger metoderne i daglig praksis [10]. Ændring i undervisningsadfærd kræver, at det lærte trænes vedvarende, hvilket kan være en proces, der strækker sig over flere måneder [7].

En alternativ forklaring på, at lægerne i I-gruppen dels fastholdt en uændret score efter seks måneder, dels ændrede adfærd og læringsmiljø inden for en relativt kort periode, kunne være, at deltagerne fandt at metoderne var praktiske, strukturerede måder at håndtere klinisk træning på, hvilket øger motivationen til at fastholde viden samt foretage ændringer i adfærd.

Konklusion

Dette studie viste en betydelig effekt af et tredages internatsvejlederkursus på viden om læring og klinisk oplæring af yngre læger, samt på undervisningsadfærd og læringsmiljø seks måneder efter kursusdeltagelsen. Lægernes viden forbedredes signifikant, de var forberedte og mere kvalificerede til at håndtere klinisk oplæring og vejledning af yngre læger, ligesom de signifikant forbedrede deres adfærd i forhold til at give og modtage supervision og feedback. Dette studie udgør et fundament i forhold til beslutningen om fortsat at afholde vejlederkurser. Der er et behov for at udvikle objektiv evaluering af den professionelle adfærdsændring hos vejledere og yngre læger samt påvirkning af læringsmiljøet efter et vejlederkursus.


Sune Rubak , Aakjaervej 40, Falling, DK-8300 Odder. E-mail: sr@alm.au.dk

Antaget: 3. september 2008

Interessekonflikter: Ingen

This article is based on a study first reported in Medical Education 2008:42:693-702.


  1. Durguerian S, Riley W, Cowan GO. Training in assessment and appraisal: who needs it? Med Educ 2000;34:307-9.
  2. Hesketh EA, Bagnall G, Buckley EG et al. A framework for developing excellence as a clinical educator. Med Educ 2001;35:555-64.
  3. Cole KA, Barker LR, Kolodner K et al. Faculty development in teaching skills: an intensive longitudinal model. Acad Med 2004;79:469-80.
  4. Godfrey J, Dennick R, Welsh C. Training the trainers: do teaching course s develop teaching skills? Med Educ 2004;38:844-7.
  5. Grant J, Kilminster S, Jolly B et al. Clinical supervision of SpRs: where does it happen, when does it happen and is it effective? Specialist registrars. Med Educ 2003;37:140-8.
  6. Kilminster S, Jolly B, Van Der Vleuten CP. A framework for effective training for supervisors. Med Teach 2002;24:385-9.
  7. Kirkpatrick DL. Evaluating training programs : the four levels. 2 ed. London: Berrett-Koehler Publishers, 1998.
  8. Steinert Y, Mann K, Centeno A et al. A systematic review of faculty development initiatives designed to improve teaching effectiveness in medical education: BEME Guide No. 8. Med Teach 2006;28:497-526.
  9. Roter DL, Larson S, Shinitzky H et al. Use of an innovative video feedback technique to enhance communication skills training. Med Educ 2004;38:145-57.
  10. Rogers EM. The Critical mass in the difussion of interactive innovations. Diffusion of innovations. 5 ed. New York: Free Press; 2003; 343-65.



Referencer

  1. Durguerian S, Riley W, Cowan GO. Training in assessment and appraisal: who needs it? Med Educ 2000;34:307-9.
  2. Hesketh EA, Bagnall G, Buckley EG et al. A framework for developing excellence as a clinical educator. Med Educ 2001;35:555-64.
  3. Cole KA, Barker LR, Kolodner K et al. Faculty development in teaching skills: an intensive longitudinal model. Acad Med 2004;79:469-80.
  4. Godfrey J, Dennick R, Welsh C. Training the trainers: do teaching courses develop teaching skills? Med Educ 2004;38:844-7.
  5. Grant J, Kilminster S, Jolly B et al. Clinical supervision of SpRs: where does it happen, when does it happen and is it effective? Specialist registrars. Med Educ 2003;37:140-8.
  6. Kilminster S, Jolly B, Van Der Vleuten CP. A framework for effective training for supervisors. Med Teach 2002;24:385-9.
  7. Kirkpatrick DL. Evaluating training programs : the four levels. 2 ed. London: Berrett-Koehler Publishers, 1998.
  8. Steinert Y, Mann K, Centeno A et al. A systematic review of faculty development initiatives designed to improve teaching effectiveness in medical education: BEME Guide No. 8. Med Teach 2006;28:497-526.
  9. Roter DL, Larson S, Shinitzky H et al. Use of an innovative video feedback technique to enhance communication skills training. Med Educ 2004;38:145-57.
  10. Rogers EM. The Critical mass in the difussion of interactive innovations. Diffusion of innovations. 5 ed. New York: Free Press; 2003; 343-65.