Skip to main content

360-graders evaluering af turnuskandidater - sekundærpublikation

Professor Peter Allerup, professor Knut Aspegren, overlæge Ejler Ejlersen, overlæge Georg Jørgensen, overlæge Axel Machow-Møller, overlæge Marianne Kleis Møller, overlæge Karen Kjær Pedersen, overlæge Ole Bruun Rasmussen, overlæge Allan Erik Rohold & overlæge Bente Sørensen Region Syd, Den Lægelige Videreuddannelse

30. jun. 2010
10 min.


Formålet med undersøgelsen var at vurdere anvendeligheden af 360-graders evaluering for turnuslæger i intern medicin. I alt 42 læger fra seks interne medicinske afdelinger deltog. Hver af disse blev bedømt af ti personer. Bedømmerne brugte i alt 14,5 minutter på at udfylde skemaet. Af 22 valgte læringsmål kunne 15 bedømmes pålideligt. Vi fandt, at metoden er praktisk anvendelig i en travl klinisk hverdag, er velaccepteret af bedømmerne, og at den diskriminerer effektivt mellem tilfredsstillende og ikketilfredsstillende præstationer.

I 2004 startede den reformerede postgraduate speciallægeuddannelse i Danmark. Den største forandring var, at definerede kompetencer skulle opnås inden for et defineret tidsrum, og læringsmålene skulle erhverves kontinuerligt gennem hele uddannelsesperioden [1].

Da formel evaluering af de opnåede kompetencer er noget nyt i den postgraduate uddannelse i Danmark, er det nødvendigt i den sammenhæng at undersøge anvendeligheden af simple, men pålidelige metoder til bedømmelse af målbeskrivelsens kompetencer. Multisource peer review eller 360-graders evaluering kan være en sådan metode. Den stammer oprindeligt fra kvalitetssikringsarbejde i erhvervslivet [2]. Brugen af 360-graders evaluering i den medicinske uddannelse blev først beskrevet af Lockyer i 2003 [3].

Da 360-graders evalueringen herefter er blevet brugt med succes til evaluering af yngre læger både i USA og England [4-8], ønskede vi at undersøge brugbarheden af denne evalueringsmetode for turnuskandidater i Danmark. Af praktiske grunde var vores undersøgelse afgrænset til de seks måneder, turnuskandidaterne er i intern medicin.

Materiale og metoder

Studiedesignet var pragmatisk. Invitation til deltagelse blev sendt til otte internmedicinske afdelinger i Region Syd. Heraf valgte seks afdelinger at deltage i undersøgelsen. På alle de deltagende afdelinger blev turnuskandidaterne af den uddannelsesansvarlige overlæge orienteret om undersøgelsen og adspurgt om de ønskede at deltage. Der var i alt 44 turnuskandidater på de seks afdelinger, hvoraf 42 accepterede at deltage i undersøgelsen. Af de 65 læringsmål i Målbeskrivelse for Turnus 2003, der skal opnås i de seks måneder på internmedicinsk afdeling, blev 22 læringsmål udvalgt som måske egnede til at indgå i 360-graders evalueringen. Læringsmålene var fordelt på følgende syv roller: medicinsk ekspert seks, kommunikator tre, samarbejder fire, leder/administrator to, akademiker tre og professionel fire. Der blev ikke valgt læringsmål fra rollen som sundhedsfremmer.

Der blev udviklet et skema, i hvilket læringsmålene var gengivet ordret fra den officielle Målbeskrivelse for Turnus 2003 . Hvert læringsmål fik tilknyttet en Likert-lignende skala med inddelingen »meget tilfredsstillende«, »tilfredsstillende«, »ikke helt tilfredsstillende« og »ikke tilfredsstillende«. Der var også en rubrik til »Kan ikke bedømmes«.

Evaluatorerne blev orienteret om projektet og blev skriftligt instrueret i evaluatoropgaven, og der blev suppleret med en kort mundtlig instruktion ved den uddannelsesansvarlige overlæge.

Evalueringen forgik i løbet af de to sidste uger af opholdet. Hver turnuskandidat blev bedømt af en sekretær, fire sygeplejersker og fem speciallæger. Evaluatorerne blev udvalgt af turnuskandidaten blandt det personale, de havde haft mest kontakt med under opholdet. Evaluatorerne var instrueret i at datere og underskrive skemaet samt at skrive kommentarer, såfremt der var afkrydset i »ikke helt tilfredsstillende« eller »ikke tilfredsstillende«. Turnuskandidaterne blev bedt om at foretage en selvevaluering ud fra samme skema.

Intrarater-overensstemmelse blev undersøgt ved en retest 7-10 dage senere ved brug af Cohns kappakoefficient. Reliabiliteten af scoringerne blev bedømt ved hjælp af Cronbachs alfa. Metodens evne til at diskriminere blev analyseret med ANOVA-statistik og ved Bartletts test ved at sammenligne den interne variation i scoringen med variationen i scoringen mellem turnuskandidaterne. Korrelationsstatistik blev udført mellem evalueringerne fra læger, sygeplejersker og fra turnuskandidaternes selvevaluering.

Efter evalueringen blev et spørgeskema udleveret til turnuskandidaterne og deres evaluatorer med spørgsmål om deres reaktion på deltagelsen i undersøgelsen og deres holdning til evalueringsmetoden. Svarene på disse spørgsmål blev kategoriseret af to af forfatterne (KA og BS).



Resultater

Fra de seks afdelinger ønskede i alt 42 ud af 44 mulige turnuskandidater at deltage i undersøgelsen. Af disse var der 23 kvindelige og 19 mandlige turnuskandidater. Antallet af deltagere fra hver afdeling varierede fra 5-11. Som evaluatorer deltog i alt 16 sekretærer, 94 sygeplejersker og 85 speciallæger. Det tog gennemsnitligt 14,5 minutter (median) at udfylde evalueringsskemaet. Vi definerede de læringsmål, der kunne evalueres af henholdsvis sekretærer, sygeplejersker og læger ud fra antallet af krydser i boksen »kan ikke bedømmes«. Der er blevet brugt en arbitrær grænse på 80% af evaluatorer, som skulle kunne foretage en bedømmelse af det enkelte læringsmål i henhold til skalaen. Dette kriterium blev opfyldt for 15 af de udvalgte 22 læringsmål. Sekretærerne kunne evaluere to, sygeplejerskerne kunne evaluere syv, og speciallægerne kunne evaluere 14 af de 15 »evaluerbare« læringsmål. Kappaværdier for test og retest for de 15 læringsmål vises i Tabel 1 . Den interne reliabilitet af bedømmelserne vises i Tabel 2 . Den højeste værdi blev opnået for »medicinsk ekspert«. Diskriminationen af metoden var god med signifikant variation mellem turnuskandidaterne (p < 0,05).

Korrelationsanalyse viste, at der var god korrelation mellem læger og sygeplejerskers evalueringer (p < 0,001). Det fremgår af svarene, at turnuskandidaterne systematisk undervurderer sig selv i forhold til vurderingerne fra sygeplejersker og læger - se venligst originalarbejdet for mere detaljeret information.

Der var ingen signifikant forskel på, hvordan kvindelige og mandlige turnuskandidater bedømte sig selv. Vi kunne ikke finde en »haloeffekt« ved vurdering af evaluatorerne - f.eks at mandlige turnuskandidater af sygeplejerskerne systemati sk blev bedømt bedre end deres kvindelige kolleger.

Af de 42 turnuskandidater blev de 29 evalueret som meget tilfredsstillende eller tilfredsstillende for alle 15 læringsmål. Der var 13 turnuskandidater, der blev evalueret til »Ikke helt tilfredsstillende« for et eller flere læringsmål. Bedømmelsen »Ikke tilfredsstillende« blev brugt i et tilfælde. Det totale antal af evalueringen »Ikke helt tilfredsstillende« for hver turnuskandidat varierede fra et til 24 med en median på fem. Resultaterne var i overensstemmelse med de kliniske indtryk, der blev registeret af de læger, der var ansvarlige for organiseringen af turnusopholdet. Af de fem læringsmål, der hyppigst var markeret som »Ikke helt tilfredsstillende«, var antallet af markeringer for læringsmål 108, 102, 96, 121 og 98 henholdsvis 15, 12, 7, 6 og 5.

Besvarelsesprocenten for spørgeskemaet var for turnuskandidaterne 38, for sygeplejersker 55 og for læger 94. Da besvarelsesprocenten for turnuskandidaterne var for lav til at repræsentere hele gruppen, blev dette resultat ikke medtaget i undersøgelsen. På spørgsmålet om, hvorvidt »Det var svært at bedømme turnuslægen« svarede 54% af sygeplejerskerne og 58% af lægerne nej. Hos de, der svarede ja til spørgsmålet (42% af sygeplejerskerne og 36% af lægerne), var begrundelsen, at »De ikke havde set turnuslægen udføre kompetencen« eller, at »De havde tilbragt for lidt tid med turnuslægen«. Der var 19% af sygeplejerskerne, der ikke følte sig kompetente til at evaluere kompetencen, hvorimod kun 5% af lægerne havde den begrundelse. Metoden beskrives som »En god måde at evaluere turnuslæger på« af 67% af sygeplejerskerne og af 68% af lægerne. Over 70% af sygeplejerskerne mente ikke, det var svært at skulle evaluere en anden faggruppe.

Diskussion

Det overordnede resultat af vores undersøgelse er, at 360-graders evaluering af turnuskandidater er en mulig brugbar og accepteret evalueringsmetode på danske hospitalsafdelinger. Metoden var i undersøgelsen rimelig pålidelig, og den kunne differentiere turnuskandidater i henhold til vigtige kliniske færdigheder i to grupper, en med gode og en med ikke så gode færdigheder. De 15 udvalgte læringsmål er udviklet af en gruppe læger med erfaring i intern medicin og godkendt af Sundhedsstyrelsen og skulle således betinge face validity . Da de 15 læringsmål dækker seks af syv roller, vil evalueringen også indeholde nogen content validity på trods af, de ikke dækker mere end 15 af de i alt 65 læringsmål for perioden på en internmedicinsk afdeling.

Tidsforbruget pr. evaluator var lavt. Metoden har i vore hænder rimelige psykometriske værdier i betragtning af, at der ikke forgik en formel træning af evaluatorerne forud for evalueringen. Vi må konkludere, at sekretærer ikke kan deltage i en 360-graders evaluering, i hvert fald ikke med de læringsmål, vi havde udvalgt. De kunne kun evaluere to af de oprindelige 22 læringsmål og det endda med lav interrater-reliabilitet. Af samme grund kan sygeplejersker evaluere nogle læringsmål, men ikke alle. Lægerne synes at være de bedste »all-round-evaluatorer« for turnuskandidater, men de suppleres godt af sygeplejerskerne.

Spørgeskemaets besvarelsesprocent var lav for turnuskandidaterne. Vi har tolket, at årsagen til dette var, at evalueringen foregik i de to sidste uger af opholdet på den internmedicinske afdeling, og at de derfor var optaget af deres kommende nye uddannelsessted. Besvarelsesprocenten for sygeplejersker var også lav - men der var en meget god overensstemmelse mellem lægernes og sygeplejerskernes besvarelse af de enkelte læringsmål. Besvarelserne fra disse to grupper indikerer samvittighedsfuld scoring af turnuskandidaterne og for majoriteten en accept af metoden.

De ovennævnte fakta skulle gøre, at 360-graders evaluering er en attraktiv evalueringsmetode på travle kliniske afdelinger.

Reliabiliteten af evalueringen varierede afhængigt af den kompetence, der blev evalueret, hvilket skal tages med i overvejelserne, når metoder skal bruges. Dette fund var en overraskelse for os, da 360-graders evaluering er foreslået som evalueringsmetode netop til læringsmål, som er »humanistiske« [3, 9]. Vi mener ikke, at det betyder, at metoden ikke kan bruges for disse lægelige roller, men man skal nøje vurdere og anvende de data, som fremkommer ved brugen. Det ville være af værdi at undersøge, om evaluatorernes øgende fortrolighed med metoden ved gentaget brug vil forbedre de psykometriske egenskaber omkring disse.

Vi må efter undersøgelsen konkludere, at 360-graders evaluering blandt turnuskandidater på internmedicinske afdelinger i Danmark er en brugbar evalueringsmetode. Det er vores holdning, at evalueringen bør foregå efter, at turnuskanditaten har været i afdeling to tredjedele af tiden og ikke som i denne undersøgelse i den sidste måned, og at man bør anvende den hovedsagligt med formativ hensigt som beskrevet af Hesketh et al [8].


Knut Aspegren , Hyllestigen 5A, 272 37 Simrishamn, Sverige. E-mail: knutaspegren@gmail.com

Antaget: 12. november 2008

Først på Nettet: 21. juni 2010

Interessekonflikter: Ingen

This article is based on a study first reported in Med Teach 2007;29:166-70.


  1. Sundhedsministeriet. Fremtidens speciallæge. Betænkning fra Speciallægekommissionen. Betænkning nr. 1384. København: Statens Information, 2000.
  2. Bracken DW, Timreck CW, Church AH. The handbook of multi source feedback: the comprehensive resource for designing and implementing MSF processes. San Francisco: Jossey-Bass, 2001.
  3. Lockyer J. Multisource feedback in the assessment of physician competencies. J Cont Educ Health Prof 2003;23:4-12.
  4. Musick DW, McDowell SM, Clark N et al. Pilot study of a 360-degree assessment instrument for physical medicine & rehabilitation residency programs. Am J Phys Med Rehabil 2003;82:394-402.
  5. Joshi R, Ling F, Jaeger J. Assessment of a 360-degree instrument to evaluate residents´ competency in interpersonal and communication skills. Acad Med 2004;79:458-63.
  6. Wood J, Collins J, Burnside ES et al. Patient, faculty, and self-assessment of radiology resident performance: A 360-degree method for measuring professionalism and interpersonal/communication skills. Acad Rad 2004;11:931-9.
  7. Archer JC, Norcini J, Davies H. Use of SPRAT for peer review of paediatricians in training. BMJ 2005;330:1251-3.
  8. Hesketh EA, Anderson F, Bagnall GM et al. Using a 3600 diagnostic screening tool to provide an evidence trail of junior doctor performance throughout their first postgraduate year. Med Teach 2005;27:219-33.
  9. Butterfield PS, Mazzaferri EL. A new rating form for use by nurses in assess ing residents´ humanistic behaviour. J Gen Intern Med 1991;6:155-61.



Referencer

  1. Sundhedsministeriet. Fremtidens speciallæge. Betænkning fra Speciallægekommissionen. Betænkning nr. 1384. København: Statens Information, 2000.
  2. Bracken DW, Timreck CW, Church AH. The handbook of multi source feedback: the comprehensive resource for designing and implementing MSF processes. San Francisco: Jossey-Bass, 2001.
  3. Lockyer J. Multisource feedback in the assessment of physician competencies. J Cont Educ Health Prof 2003;23:4-12.
  4. Musick DW, McDowell SM, Clark N et al. Pilot study of a 360-degree assessment instrument for physical medicine & rehabilitation residency programs. Am J Phys Med Rehabil 2003;82:394-402.
  5. Joshi R, Ling F, Jaeger J. Assessment of a 360-degree instrument to evaluate residents´ competency in interpersonal and communication skills. Acad Med 2004;79:458-63.
  6. Wood J, Collins J, Burnside ES et al. Patient, faculty, and self-assessment of radiology resident performance: A 360-degree method for measuring professionalism and interpersonal/communication skills. Acad Rad 2004;11:931-9.
  7. Archer JC, Norcini J, Davies H. Use of SPRAT for peer review of paediatricians in training. BMJ 2005;330:1251-3.
  8. Hesketh EA, Anderson F, Bagnall GM et al. Using a 3600 diagnostic screening tool to provide an evidence trail of junior doctor performance throughout their first postgraduate year. Med Teach 2005;27:219-33.
  9. Butterfield PS, Mazzaferri EL. A new rating form for use by nurses in assessing residents´ humanistic behaviour. J Gen Intern Med 1991;6:155-61.