Valideret model for 360 °’s feedback i den lægelige videreuddannelse er gennemførlig og acceptabel

360 °’s graders feedback er en kompetencevurderingsmetode, der giver en helhedsvurdering af uddannelsessøgende lægers adfærd i det daglige arbejde. Metoden lever dermed op til kravet om, at kompetencevur-
dering ideelt set skal finde sted i en arbejdsrelateret kontekst [1]. Med reformen af speciallægeuddannelsen i 2004 blev kompetencevurdering gjort obligatorisk [2], og i mange specialer valgte man at anvende 360 °’s feedback til vurdering af mål inden for rollerne samarbejder, kommunikator, professionel, leder og administrator [3]. Sundhedsstyrelsens rapport »Speciallægeuddannelsen status og perspektivering« fra 2012 [4] viser, at man i hovedparten af alle specialer anvender 360 °’s feedback. I denne artikel beskrives en webbaseret »bedste praksis«-model for 360 °’s feedback i den lægelige videreuddannelse i Danmark, og videnskabelige perspektiver på brugen af 360 °’s feedback inddrages. »Bedste praksis«-modellen er baseret på en række forskningsprojekter [5-7] , der er gennemført på Aarhus Universitetshospital, Skejby, i perioden 2005-2010, og på erfaringer fra implementeringen af modellen på alle hospitaler i Videreuddannel-
sesregion Nord fra 2007 til 2013.

BESKRIVELSE AF MODEL FOR 360 °’S FEEDBACK
– BEDSTE PRAKSIS

I Danmark anvendes 360 °’s feedback primært for-mativt, dvs. som et udviklingsredskab, idet man ikke anvender metoden alene til at afgøre, om en kom-
petence er opnået, hvilket svarer til de generelle anbefalinger [8, 9]. I nyere studier understreges det, at 360 °’s feedback har en positiv effekt på feedbackmodtagerens (FBM) performance specielt inden for rollen som kommunikator og professionel, og at
metoden kan bruges til at vurdere adfærd over tid [10-12] . Brug af 360 °’s feedback til kompetencevurdering indebærer en beslutning om, hvordan delelementerne af feedbackprocessen skal gennemføres [13, 14].

I udviklingen af 360 °’s feedback-modellen deltog otte forskellige afdelinger fra tre hospitaler, og de repræsenterede seks specialer (gynækologi & obstetrik, infektionsmedicin, kardiologi, urologi, thoraxkirurgi og anæstesi). Modellen blev evalueret gennem 52 strukturerede og semistrukturerede interview med projektdeltagere og data fra spørgeskemaer. Konklusionen var, at den udviklede model for 360 °’s feedback var velegnet til vurdering af de fire roller, som modellen omhandler, er tidsbesparende i forhold til en papirmodel, er gennemførlig og anvendelig samt fuldt acceptabel på alle niveauer i organisationen.

ET WEBBASERET REDSKAB

I evalueringsrapporten [5] konkluderer man, at den webbaserede model ikke blot er en effektivisering i forhold til manuel dataindsamling, dvs. papirskemaer, men også tilføjer systematik, fleksibilitet og struktur til feedbackprocessen, hvilket er med til at optimere grundlaget for feedbacksamtalen. Data genereres automatisk og præsenteres både numerisk og grafisk, hvor selvevaluering og gennemsnitsscore fra respondentgrupperne sammenlignes på både kompetence- og spørgsmålsniveau. Raten af no answer vises sammen med alle kommentarer. Data aggregeres i anonymiseret form og kan anvendes af den enkelte afdeling/det enkelte hospital til monitorering af kvaliteten i den lægelige videreuddannelse [15].

UDDANNET OG CERTIFICERET FEEDBACKFACILITATOR

I modellen for 360 °’s feedback gives den personlige tilbagemelding på rapporten af en certificeret feedbackfacilitator (FF). Under samtalen identificeres konkrete indsatsområder, som hovedvejlederen følger op på. Disse trin medvirker til at øge udbyttet af en 360 °’s feedback [12, 13, 15-17] . Uddannelsen, der varetages af eksterne konsulenter (PeoplePartner), omfatter introduktion til systemet, indføring i dataanalyse, struktur for en feedbacksamtale og undervisning i basale principper for facilitering. Der er obligatorisk supervision på den første feedbacksamtale.

EN VALIDERET SPØRGERAMME

Spørgerammen er udviklet af en gruppe af eksperter inden for medicinsk uddannelse med afsæt i Speciallægekommissionens definition af rollerne samarbejder, kommunikator, professionel, leder og administrator [2]. Valideringen af spørgerammen er gennemført som anbefalet i litteraturen [13, 14,
18-21]. De psykometriske beregninger (faktoranalyse, andenordensfaktoranalyse og itemanalyse) er baseret på datasæt fra 360 °’s feedback fra 46 yngre læger med i gennemsnit 15 respondenter fordelt på 3-4 grupper. Den endelige spørgeramme omfatter
46 spørgsmål fordelt på 12 temaer. Der anvendes en femtrinssvarskala med mulighed for ikke at svare. Analysen viste, at den samme spørgeramme kunne anvendes i alle sygehusspecialer, hvilket er forene-ligt med, at spørgerammen er udviklet ud fra den samme beskrivelse af de fire lægeroller [2] (Chronbachs alpha = 0,9). Der er en korrelation på 0,6-0,7 mellem de fire roller, hvilket er en passende korrelation til at kunne adskille rollerne [6, 22]. Den reviderede spørgeramme er så vidt vides den eneste dansk-udviklede spørgeramme, som er valideret til brug på alle niveauer og til alle specialer, dog fraset almen medicin og samfundsmedicin.

ANONYMITET

Besvarelserne afgives anonymt med henblik på at fremme ærlige svar og modvirke, at respondenter skal bekymre sig om reaktioner fra FBM, hvis de giver en negativ feedback. Litteraturen [23, 24] understøtter brugen af anonymitet, specielt når der indsamles feedback i hierarkiske strukturer som f.eks. fra plejepersonale til FBM. I udviklingsprojektet var modstanden mod anonymitet størst i toppen af hierarkiet, hvor det blev anført, at det er direkte problematisk at kunne afgive kritik uden at skulle stå ved den [5]. Respondenterne informeredes om, at alle kommentarer skulle være konstruktive, og ved specifik negativ kritik, opfordredes de til at angive konkrete eksempler.

ETISKE ASPEKTER

De etiske aspekter i forbindelse med 360 °’s feedback er fortrolighed, anonymitet og anvendelsen af rapportens data fremover (Tabel 1).

Anonymitet og fortrolighed sikres ved, at spørgeskemaet besvares elektronisk, og at data opbevares i et lukket system [10]. Det er vigtig at understrege, at en 360 °’s feedback ikke er forbundet med tavshedspligt, men med fortrolighed og at andre kan inddrages i opfølgningen. En 360 °’s feedbackproces giver et øjebliksbillede af den yngre læges adfærd i en given kontekst og på et givet trin i uddannelsen, og rapportdata bør derfor ikke efterfølgende indgå i ansættelsesøjemed, hvorimod læring og personlig udvikling af 360 °’s feedback-processen naturligt kan inddrages.

360 °’S FEEDBACK-PROCESSEN

De enkelte trin i feedbackprocessen er vist i Figur 1, mens Tabel 2 viser de enkelte aktører og ansvarsfordelingen.

Den uddannelsesansvarlige overlæge har det formelle ansvar for, at 360 °’s feedback gennemføres, men det praktiske ansvar er placeret hos FBM, der via systemet styrer processen ved hjælp af e-mail.

VALG AF RESPONDENTER

FBM vælger selv 8-12 respondenter for at opnå en acceptabel pålidelighed af feedbacken [25, 26]. I mindre specialer med få samarbejdspartnere kan FBM invitere respondenter fra tidligere ansættelser. Ved selv at vælge respondenter sikres der feedback fra personer, som FBM har arbejdet sammen med, og samtidig delegeres ansvaret for 360 °’s feedback-processen til FBM [13, 24]. Tidligere studier har vist, at respondenter, der udvælges af FBM ikke giver en mere positiv vurdering, end respondenter, der er udvalgt af andre [25]. Dette udfordres af et studie fra 2011, der viser, at respondenter, der har kendt FBM gennem længere tid, scorer højere [24]. På denne baggrund argumenteres der for, at valg af respondenter skal være kontrolleret, mens Whitehouse et al [20] påpeger, at netop FBM’s valg af respondenter sikrer, at kritikken ikke kan anfægtes under henvisning til, at andre har valgt respondenter, der ikke bryder sig om lægen. Samtidig er FBM’s reaktion på en 360 °’s feedback bl.a. relateret til oplevelsen af respondenternes troværdighed associeret med kendskab til lægens adfærd i klinisk praksis. Det er således et dilemma selv at kunne vælge respondenter, der kender en godt, da det samtidig betyder,
at der er en risiko for at introducere bias [27].

FEEDBACKSAMTALEN OG
ROLLEN FOR FEEDBACKFACILITATOR

I tilbagemeldingen på en 360 °’s feedback skal FF sikre sig, at FBM har forstået rapportens indhold [15, 16]. Opgaven er desuden at hjælpe FBM med at fortolke data og se resultatet i et større perspektiv, samt hindre at fokus fastholdes på få kritiske eller uforståelige kommentarer [5, 28]. FF skal understøtte FBM’s refleksion om de personlige kompetencer, dels ud fra rapportens data, og dels ud fra oplevelser i den kliniske hverdag. På baggrund af identificerede styrker og svagheder guider FF FBM til at udpege indsatsområder og formulere en handleplan. FF skal i samtalen kunne håndtere forskellige følelsesudbrud og reak-
tioner professionelt og kunne flytte fokus fra det emotionelle respons til feedbackens konkrete indhold [29]. Projektet viste i overensstemmelse med litteraturen, at FF’s empatiske egenskaber er essentielle for, hvordan FBM oplever feedbackprocessen [5, 28].
I samtalen skal FF kunne træde ud af den sædvanlige rolle som supervisor (= den, der giver feedback i det kliniske arbejde) og i stedet indtage en coachende rolle (= den, der faciliterer feedback). FF skal gøre FBM til den aktive part, som gennem refleksion gøres klogere på egen performance og udviklingsmuligheder [28]. I et randomiseret studie [11] konkluderes det, at en 360 °’s feedback, der kombineres med en 30-minutters coachsession, der understøtter positiv adfærd og afsøger fordele ved at ændre negativ adfærd samt fastlægger mål og strategier for målopfyldelse, er mere effektiv end 360 °’s feedback kombineret med skriftlig respons fra en vejleder målt på FBM’s adfærdsændringer inden for kommunikation og professionalisme. Ligeledes er effekten af en 360 °’s feedback-proces korreleret til, om feedbacken opleves som troværdig og præcis [27, 30] , om FF er engageret og trænet [5, 12, 28], og om kommentarerne indeholder konkret feedback, der kan medvirke til øget selvrefleksion [28].

INDSATSOMRÅDER, HANDLEPLANER
OG INDIVIDUEL UDDANNELSESPLAN

Før rapporten udleveres til FBM, repeteres formålet med feedbacksamtalen, og en skabelon for indsatsområder/handleplan udleveres. Indsatsområderne identificeres sammen med FF, handleplanen diskuteres, og et kort skriftligt resume, der inddrages i vejledersamtalerne og den individuelle uddannelsesplan, udformes. FF bidrager derfor til FBM’s kompetenceudvikling på samme måde som de kliniske vejledere bidrager til f.eks. operativ oplæring, mens hovedvejlederen har den koordinerende rolle (Figur 2). Evidens på området viser, at en aktiv integration mellem 360 °’s feedback-processen og det etablerede samtalesystem både for den aktuelle ansættelse og i løbet af speciallægeuddannelsen er nødvendig for at sikre det fulde udbytte af 360 °’s feedback [12, 29].

KONKLUSION OG PERSPEKTIVER

I Sundhedsstyrelsens rapport [4] konkluderes det, at der er brug for at fremme anvendelsen af strukturerede kompetencevurderingsmetoder, som kan introduceres, gennemføres og indlejres i afdelingens kultur på den enkleste og mindst tidskrævende måde.

I artiklen beskrives og begrundes de metodiske valg i forbindelse med udviklingen af en model for 360 °’s feedback til brug for formativ kompetencevurdering i den lægelige videreuddannelse i en dansk kontekst. Modellen, som er vurderet som gennemførlig og acceptabel, er baseret på en valideret spørgeramme og kvalificeres ved, at man anvender certificerede FF, og ved at være integreret med det etablerede samtalesystem.

Modellen for 360 °’s feedback er nu udviklet og implementeret til brug for hospitalsspecialer, hvorfor det videre mål er at øge udbyttet af feedbackprocessen. Der er bl.a. behov for at belyse, hvordan FF kan øge den katalytiske effekt [26] af 360 °’s feedback, dvs. skabe læring, som kan bidrage til et højere kompetenceniveau hos fremtidens speciallæger. En analyse af indhold og omfang af indsatsområder og handleplaner vil endvidere kunne bidrage med viden om, hvordan organisationen og de uddannelsesansvar-
lige kan understøtte kompetenceudviklingen. Disse aspekter indgår i kvalitetsmonitorering af modellen og er inddraget i igangværende forskningsprojekter.

Korrespondance: Gitte Eriksen, Gynækologisk-obstetrisk Afdeling Y,
Aarhus Universitetshospital, Brendstrupsgaardsvej 100, 8200 Aarhus N.
E-mail: gitte.eriksen@rm.dk

Antaget: 27. januar 2014

Publiceret på Ugeskriftet.dk: 14. april 2014

Interessekonflikter: