Metode til kompetenceevaluering af speciallæger - validering af 360-graders-skema

Introduktion: Kompetencevurdering af speciallæger fokuserer på kvaliteten af lægers arbejde. Formålet med arbejdet var at udvikle et validt, brugbart og acceptabelt 360-graders-evalueringsskema til danske hospitalsspeciallæger.

Materiale og metoder: Udsagn om speciallægers kompetencer inden for de ikkemedicinske ekspertroller blev dannet (samarbejder, professionel, kommunikator, sundhedsfremmer, akademiker, leder/administrator). Udsagnene blev indholdsvalideret i en lægegruppe (relevans, forståelighed, dækkende for rollen). Et justeret udkast blev herefter valideret af ikkelæger, og et endeligt skema blev udformet. En gruppe speciallæger afprøvede metoden, fik tilsendt en rapport med resultaterne og vurderede herefter metoden.

Resultater: I alt 66 udsagn blev efter valideringsrunderne reduceret og omformuleret til 36. I begge valideringsrunder blev der opnået relevans- og forståelsesscoringer i intervallet mellem »i høj grad« og »i væsentlig grad«. I en pilottest blev 18 speciallæger vurderet af sig selv, samt af 141 læger og 125 andre fagpersoner. Stort udbytte af evalueringen fandt 58%, og 53% så udviklingsmuligheder på baggrund af rapporten. Cirka en tredjedel ønskede ikke, at afdelingslederen fik resultatet, mens totredjedele mente, at rapporten kan bruges ved medarbejderudviklingssamtaler.

Konklusion: Vi har udviklet et evalueringsredskab til vurdering af speciallægers kompetencer med relevante og forståelige udsagn. Af en pilottest fremgår, at de fleste havde udbytte af evalueringen. Da en del ikke ønsker, at ledelsen får resultatet, kan metoden ikke anvendes som kompetencevurdering af alle speciallæger, her må andre evalueringsmetoder bruges.

I hospitalssektoren har der igennem en årrække været fokus på kompetencevurdering af medarbejdere. Hvad angår vurdering af lægers kompetencer blev diskussionen intensiveret i 2001 med Speciallægekommissionens rapport Fremtidens Speciallæge [1]. Heri blev det foreslået, at syv kompetenceområder skal indgå i speciallægeuddannelsen (medicinsk ekspert, samarbejder, professionel, kommunikator, sundhedsfremmer, akademiker, leder/administrator), og at kompetenceevaluering skulle danne grundlag for speciallægeanerkendelse. Siden da er speciallægeuddannelsen blevet ændret i relation hertil, og der findes målbeskrivelser og kompetencevurderingsforslag inden for alle specialer.

På verdensplan har vurdering og opretholdelse af speciallægers kompetencer fået stor opmærksomhed bl.a. som resultat af bekymring om kvaliteten af lægers virke [2]. I Danmark har diskussionen af kvalitetssikring i hospitalssektoren ligeledes ledt interessen hen på kontinuerlige kompetencevurderinger af speciallæger. Igennem de senere år er hospitalerne i det tidligere Hovedstadens Sygehusfællesskab blevet akkrediteret af det amerikanske Joint Commission . Flere af de anvendte akkrediteringsstandarder foreskriver, at der skal forefindes procedurer for, hvordan den lægelige kompetence bliver tildelt og overvåget [3]. I en nylig statusartikel af C. Ringsted et al konkluderes, at udfordringen ved at kompetenceevaluere speciallæger er at definere, hvad der skal vurderes af hvem og hvordan [4].

Uddannelsen af speciallæger er baseret på de syv canadiske roller, og disse roller anvendes ligeledes ved overlægebedømmelse. Det synes derfor oplagt at tænke kompetencevurdering af speciallæger ind i samme ramme. Det er praktisk at have redskaber til kompetenceevaluering, som er anvendelige for de fleste typer speciallæger. Kompetencerne, der er relateret til en medicinsk ekspert, er specifikke for de enkelte specialer, mens de øvrige seks kompetencer indeholder fælles elementer for specialerne. Et muligt redskab til vurdering af disse kompetencer er 360-graders-evaluering, på engelsk også multisource feedback . Metoden er de senere år anvendt som kompetencevurdering i speciallægeuddannelsen i Danmark [5]. Inden for andre brancher end den sundhedsprofessionelle har metoden en langt større udbredelse, f.eks. i erhvervslivet som et praktisk redskab til at vurdere kompetence på arbejdspladsen [6]. Både i USA og Canada har man udviklet 360-graders-skemaer til løbende certificering af speciallæger [7-9]. Metoden går ud på, at den person, der skal vurderes, selv udvælger en gruppe samarbejdspartnere, som udfylder et standardiseret spørgeskema. Samarbejdspartnerne og personen selv skal vurdere, i hvor høj grad han eller hun er i besiddelse af de beskrevne kompetencer (Figur 1 ). I flere af de udenlandske modeller indgår også patienter som en gruppe, der skal evaluere speciallægen [7, 8].

Formålet med dette arbejde var at udvikle et validt og praktisk 360-graders-evalueringsskema til evaluering af danske speciallæger i hospitalssektoren. Fokus for evalueringen var de fælles ikkemedicinske ekspertkompetencer. Endvidere var formålet at undersøge speciallægers vurdering af 360-graders-skemaets værdi som evalueringsredskab.

Materiale og metoder

Undersøgelsen var opdelt i tre trin. Trin et var udvikling og validering af et 360-graders-evalueringsskema til hospitals-speciallæger fra mange specialer. Trin to var en pilottest med afprøvning af det i trin et udviklede skema, og endelig var trin tre en efterfølgende vurdering af metoden blandt de speciallæger, som deltog i pilotundersøgelsen.

Trin et - udvikling af 360-graders-evalueringsskema

Forfatterne brainstormede på mulige udsagn til et skema, der kunne være anvendeligt for færdiguddannede speciallæger på hospitalet - uanset speciale - med inspiration i de eksisterende 360-graders-evalueringsskemaer, som bruges til evaluering af uddannelsessøgende i speciallægeuddannelsen [5], evaluering af ledere på Hvidovre Hospital [10], udenlandske skemaer i forske llige lægefaglige specialer [8] og Hvidovre Hospitals Kvalitetsråds instruks til evaluering af speciallægers kompetencer [11].

Validering af skemaudkast

Første skemaudkast blev uddelt til speciallæger på hver af de afdelinger, hvor forfatterne er ansat. For hvert udsagn blev lægerne bedt om at vurdere, dels hvor relevant de fandt hver enkelt udsagn til at evaluere kompetencen, og dels om formuleringen af udsagnet var forståeligt. For hver rolle skulle det endvidere vurderes, om samlingen af udsagn ansås som dækkende for rollen. Der kunne vælges blandt følgende muligheder: 1: i høj grad, 2: i væsentlig grad, 3: i nogen grad, 4: i ringe grad, 5: slet ikke og 9: ved ikke. En høj score svarede således til lav relevans eller forståelighed. Der var endvidere mulighed for, at komme med forslag til sproglige korrektioner og forslag til nye udsagn. Udsagn, som en eller flere deltagere vurderede at være dækket af et andet udsagn, udgik. Endvidere udgik et udsagn, hvis det fik en gennemsnitlig relevansscore > 2 og/eller en forståelighedsscore > 2 og ikke umiddelbart kunne rettes sprogligt. Udsagn blev omformuleret, hvis der var forslag til en bedre formulering, såfremt vi vurderede, at meningen forblev uændret.

Validering af revideret skemaudkast

På baggrund af ovenstående proces blev der udformet et revideret skema, som blev omdelt til andre faggrupper end læger på de samme afdelinger. For hvert udsagn blev faggrupperne bedt om at score relevansen og forståeligheden, og for hver rolle om at vurdere om samlingen af udsagn ansås som dækkende for rollen efter samme skala som i første runde.

Trin to - afprøvning af 360-graders-speciallægeevaluering

Efter ovenstående kriterier blev et endeligt 360-graders-evalueringsskema lavet (Tabel 1 ). Forud for det endelige skema blev alle indkomne forslag til sproglige omformuleringer, eventuelle mangler, relevans- og forståelsesscoringer omhyggeligt vurderet af forfattergruppen. Herefter blev alle afdelingsledelser på hospitalet tilbudt, at to speciallæger kunne deltage i en pilotundersøgelse. Ved denne skulle speciallægerne dels evaluere sig selv, dels 360-graders-evalueres af deres samarbejdspartnere. Skemaet blev elektronisk formuleret. Speciallægerne blev bedt om at indsende navne og e-mail-adresser på 15 samarbejdspartnere, som de på forhånd havde sikret sig gerne ville deltage. De blev opfordret til at udvælge 50% læger fra forskellige uddannelsesniveauer og 50% fra andre faggrupper (sygeplejersker, jordemødre, sekretærer, radiografer, bioanalytikere etc.). De, som skulle evaluere speciallægerne, fik tilsendt og svarede på det elektroniske 360-graders-skema via e-mail. Der blev genereret en elektronisk rapport til hver speciallæge med resultaterne i anonymiseret form.

Trin tre - brugbarhed og acceptabilitet af 360-graders-evalueringen

To uger efter speciallægerne havde modtaget evalueringsrapporten, modtog de endnu et elektronisk spørgeskema til belysning af deres vurdering af metoden.

Resultat
Udviklingen af 360-graders-skemaet

Det første skemaudkast indeholdt i alt 66 udsagn. Udsagnene blev vurderet af 23 speciallæger, der havde fungeret som læger i gennemsnitligt 23,8 ± 6,4 år (± standardafvigelse). Resultaterne af lægernes vurdering af henholdsvis relevans og forståelighed for udsagnene inden for hver rolle fremgår af Tabel 2 . Den gennemsnitlige relevansscoring er 1,8 med en spredning på 1,2-2,7, og den gennemsnitlige forståelighedsscore er 1,6 med en spredning på 1,2-2,9. På baggrund af kriterierne, der er anført i metodeafsnittet, blev der efterfølgende konstrueret et revideret skemaudkast, som indeholdt 37 udsagn.

I valideringen af det reviderede skemaudkast deltog 21 sygeplejersker, jordemødre, sekretærer og radiografer. Relevans og forståelsesscoringerne var umiddelbart højere for alle roller (Tabel 2). Den gennemsnitlige relevansscore var 1,3 med en spredning på 1,0-1,6, og scoren for forståelighed var 1,4 med en spredning på 1,0-2,9. Hvorvidt udsagnene var dækkende for de enkelte roller blev scoret fra 1,3 til 1,7, hvilket svarer til mellem »i høj grad« = 1 og »i væsentlig grad« = 2. På baggrund af kriterierne blev det endelige skema med 35 udsagn lavet (Tabel 1).

Pilottest til vurderingen af metoden

Tilbud om deltagelse i pilottesten i speciallægegruppen blev sendt til 17 ledende overlæger på hospitalet. Fra 11 afdelinger blev der tilmeldt 23 speciallæger. Blandt de tilmeldte deltagere indsendte 18 speciallæger (78%) navne og e-mail-adresser på samarbejdspartnere, som skulle deltage. Samarbejdspartnerne var 141 læger og 125 fra andre faggrupper. Besvarelsesprocenten på selve 360-graders-evalueringsskemaet var blandt de speciallæger, som selv skulle evalueres 100%, blandt de evaluerende læger 82% og blandt de andre faggrupper 83%. I gennemsnit blev hver speciallæge således evalueret af 14 personer (sig selv, 6,4 andre læger og 5,9 fra andre faggrupper) med en variation mellem 11 og 16. For alle udsagn var der et antal personer, som ikke så sig i stand til at vurdere den enkelte speciallæge; for lægerne gjaldt dette i gennemsnit for 17% af udsagnene, med en variation mellem 0 og 46% og for andre fagpersoner 20%, med en variation på mellem 0 og 55%. Det efterfølgende vurderingsskema blev besvaret af alle evaluerede speciallæger. Resultaterne fremgår af Tabel 3 . Som det fremgår, var det ikke svært at finde samarbejdspartnere til evalueringen. Speciallægerne fandt i høj grad, at der var tale om relevante spørgsmål, som var dækkende for de ikkemedicinske roller. Om selve rapporten var 58% helt eller delvist enige i, at de havde udbytte af den, og 55% mente, at den havde hjulpet dem til at se udviklingsmuligheder. Ni ud af ti var helt eller delvist enige i, at anonymitet var acceptabelt. På spørgsmålet om, hvorvidt speciallægerne mente, at rapporten kan bruges ved en medarbejderudviklingssamtale (MUS), var 63% helt enige eller delvist enige, og ingen var helt uenige. Vedrørende hvem, der skal have resultaterne af 360-graders-evalueringsrapporten tilsendt, var 47% helt enige i og 26% delvist enige i, at det kun var medarbejderen selv. Til forslaget om at rapporten kunne tilsendes både lederen og den evaluerede selv, var 32% helt uenige og 26% delvist uenige.

Diskussion

Vi har udviklet og valideret indholdet af samt testet anvendeligheden af et 360-graders-evalueringsskema til speciallæger. Kompetenceudsagnene i evalueringsskemaet retter sig udelukkende mod de seks ikkemedicinske ekspertroller. Indholdet i skemaet vurderer vi på baggrund af undersøgelsen til at være validt. Der er overvejende positive vurderinger om at anvende metoden fra de speciallæger, der er testet. Cirka totredjedele af deltagerne mente, at resultaterne kan anvendes ved en MUS, og at lederen må kende resultatet, og ca. totredjedele af deltagerne fandt, at metoden var udbytterig og brugbar til at afdække udviklingsmuligheder.

Vi startede med en indholdsvalidering og på baggrund af de relevansscoringer, der blev opnået ved både 1. og 2. udkast, vurderes skemaet som validt. Revisionen i sprog og gruppering af de enkelte udsagn resulterede i en forbedret score for såvel relevans som forståelighed. Vi har ikke testet fo r evalueringens kriterievaliditet - som afklarer, om resultaterne af evalueringen kan sammenholdes med andre måder at indsamle de samme resultater på, eller for begrebsvaliditet - som afdækker, om evalueringsmetoden måler på det, der faktisk formodes at blive målt på. Med andre ord har de, der scorer lavt på evalueringsskemaet også manglende evner inden for området. Da der os bekendt ikke findes nogen guldstandard på området, anser vi det ikke muligt at lave den type valideringer.

I Canada er der lavet studier af et lignende 360-graders-redskab til løbende vurdering af speciallægers kompetencer. Her anvender man en flerhed af skemaer med en specifik drejning af spørgsmålene, et skema til patienter, et til lægekolleger, et til ikkelægelige samarbejdspartnere og et til speciallægen selv [8]. Ud fra psykometriske studier har man fastslået, at seks lægekolleger, seks ikkelæge kolleger og 22 patienter er nok til at give troværdige resultater [7]. Vi vurderer ligeledes, at vi med 14 respondenter har anvendt et sufficient antal respondenter, idet også andre undersøgelser af 360-graders-redskabet peger på, at et samlet antal over cirka ti er sufficient [12]. For både læger og andre fagpersoner sås det relativt ofte - nemlig i ca. en femtedel af udsagnene, at de ikke var i stand til at vurdere den enkelte speciallæge. Resultaterne af pilottesten om, hvorledes speciallægerne vurderer testen, skal tages med forbehold, da blot 18 speciallæger deltog, og de speciallæger, som deltog frivilligt, havde måske en positiv holdning til evalueringsmetoden. Endvidere var spørgsmålene om deres vurdering af metoden ikke validerede.

Kan og vil speciallæger acceptere at blive testet på denne måde? Vores 360-graders-evalueringsmetode opfylder de fleste af de krav, som Ringsted et al har peget på til denne type evalueringsredskaber [4]. De anfører, at et evalueringsredskab til speciallæger skal være konkret og give meningsfulde oplysninger . Dette synes her at være tilfældet med den høje indholdsvalideringsscoring. Der peges på, at redskabet skal være almengyldigt, så det kan anvendes i forskellige specialer . Også dette er tilfældet for vores redskab, idet de fleste af hospitalets afdelinger deltog i pilottesten. En afdeling ønskede efter gennemsyn af udsagnene ikke at medvirke i pilottesten, idet de umiddelbart fandt udsagnene irrelevante for ikkeklinikere. Andre afdelinger uden væsentlig patientkontakt deltog uden problemer. Endvidere konkluderer Ringsted et al , at evalueringen skal være meningsfuld , hvilket vi finder, at pilottesten dokumenterer. Endelig skal kompetenceevalueringen være gennemførlig i praksis . Dette har vi ikke testet direkte, men tidsforbruget for de, der skal vurdere lægerne, er lavt (5-10 minutter), idet alt foregår elektronisk. Speciallægen skal selv anvende et par timer på at finde personer, der vil evaluere, men i vores undersøgelse finder 83% dette acceptabelt. Der kan være andre barrierer for gennemførligheden i praksis, som vi ikke har set eller undersøgt.

Hvad kan 360-graders-evalueringen bruges til? Hvis den skal anvendes som et redskab for afdelingen til at kompetencevurdere speciallæger, må resultatet af undersøgelsen nødvendigvis være kendt af lederen. I vores pilottest er 37% helt eller delvis uenige i, at resultaterne skal tilsendes både speciallægen og lederen, og 66% mener, at resultatet kan bruges ved MUS. Umiddelbart er der relativ stor modstand mod, at redskabet anvendes som systemets evaluering af den enkelte speciallæges kompetencer. Dette er formentligt et reelt problem, som også nævnes i litteraturen, hvorfor man indskærper nødvendigheden af at kende til anvendelsen af resultaterne på forhånd [9]. Et evalueringsskema som dette har - ud over som kompetencevurderingsredskab - væsentligt potentiale som udviklingsredskab for den enkelte speciallæge. I undersøgelsen er 61% enige eller delvist enige i at have stort udbytte af resultaterne, og 53% i at de har fået påvist udviklingsmuligheder. Denne vurdering er lavet få uger efter at resultaterne var udsendt. I Canada og i USA har man undersøgt om evalueringsresultaterne gav anledning til, at speciallægerne overvejede eller faktisk ændrede adfærd på baggrund af evalueringen. Der er langt flere, der overvejer det, end de, der faktisk gør noget ved det [9]. I en undersøgelse af 360-graders-metoden til lederevaluering på Hvidovre Hospital peges på, at sparring med andre om evalueringsresultaterne gjorde evalueringen mere brugbar [10].

Som konklusion mener vi at have udviklet et simpelt redskab til kompetencevurdering af speciallæger. Redskabet kan udelukkende anvendes som systemets evalueringsredskab til de speciallæger, som ønsker det. Lederen bør derfor råde over flere redskaber til kompetencevurdering af speciallæger end 360-graders-evalueringen. På baggrund af resultaterne bør man fastholde, at resultatet af evalueringerne skal være personligt. Vi mener, at evalueringen skal danne udgangspunkt for en diskussion mellem den evaluerede speciallæge og dennes leder, hvor processen formes således, at den evaluerede medbringer resultaterne og præsenterer disse for lederen. Et flertal kan have udbytte af evalueringen som personligt udviklingsredskab. Medarbejderen og lederen har en fælles interesse i denne proces.