Vurdering af metoden: 360-graders-ledelsesevaluering på et hospital

»Oh, hvilken stor gave, hvis blot vi kunne se os selv som andre ser os«.

Robert Burns , 1785

De senere års stigende krav til evaluering har været iøjnefaldende. Ikke kun de faglige ydelsers kvalitet skal evalueres, if. akkrediteringsstandarderne, men også lederes funktioner kræves evalueret [1]. Inden for det private erhvervsliv har ledelsesevaluering været kendt i en årrække. Blandt andet har metoden »360-graders-ledelsesevaluering« været brugt [2-4]. Den består af en struktureret, skriftlig evaluering af lederen foretaget af såvel underordnede, sideordnede og overordnede medarbejdere [2, 5]. 360-graders-metoden anvendes aktuelt i vid udstrækning til evaluering af mange af de kompetencer, som uddannelsessøgende læger skal opnå i deres speciallægeuddannelse [6, 7], men her udgør ledelseskompetencen kun en mindre del. Metoden er os bekendt kun i beskedent omfang blevet vurderet i relation til ledelsessystemet (mellemlederne) på et hospital [8, 9]. Et hospital udgør med dets særegne og komplekse faglige og styringsmæssige struktur en særlig udfordring, når kvalitetsdata ønskes inden for ledelse, til brug ved akkreditering af hospitaler og til udvikling af specielt de »bløde kompetencer« blandt mellemledere. Denne artikel sætter fokus på, hvilket udbytte to forskelligt udvalgte ledergrupper har fået af 360-graders-evalueringen.

Materiale og metode
Spørgeskema til 360-graders-ledelsesevaluering

Udviklingen af spørgeskemaet fandt sted i regi af Hovedstadens Sygehusfællesskab (H:S) med deltagelse af repræsentanter fra Hvidovre Hospital. Der blev ikke gennemført en videnskabelig validering af det samlede spørgeskema.

Spørgsmålene var lavet på baggrund af spørgsmål brugt ved Personalestyrelsens koncept for ledelsesevaluering i Staten, som omfatter 58 spørgsmål [10]. Ændringer og tilføjelser blev foretaget blandt andet for at gøre spørgsmålene mere personligt vedkommende. Desuden blev mindre sproglige rettelser foretaget. I otte spørgsmål er der foretaget mindre indholdsmæssige justeringer, og otte spørgsmål er helt nye.

360-graders-ledelsesevalueringen

Spørgeskemaet blev anvendt i to scenarier med to ledergrupper. Gruppe 1 (n = 24, fem afdelingssygeplejersker, ti overlæger, ni afdelingslæger eller øvrigt lederpersonale) havde gennemført hospitalets lederuddannelse. Gruppe 2 (n = 8) var alle ledere i den samme medicinske afdeling (fem overlæger heraf en ledende overlæge, en afdelingssygeplejerske, en oversygeplejerske og en ledende diætist). Ingen i gruppe 2 havde i forbindelse med 360-graders-ledelsesevalueringen været på lederuddannelse. Lederne var således deltagere i 360-graders evalueringen og samtidig respondenter i evalueringen af 360-graders-ledelsesevalueringsredskabet.

Deltagerne i de to grupper skulle selv udvælge 10-15 respondenter til at besvare 360-graders-spørgeskemaet. De blev opfordret til at udvælge samarbejdspartnere fra forskellige faggrupper. Alle respondenter fik herefter tilsendt et internetbaseret spørgeskema, der bestod af 37 spørgsmål fordelt på seks hovedområder (vision/strategi, delegering, kommunikation, feedback, drift og samarbejde). Hvert spørgsmål kunne besvares på en Likert-skala, hvor svarmulighederne var opdelt i fem grupper fra »særdeles enig« som bedste scoring til »særdeles uenig« som laveste scoring.

Alle respondenter blev lovet anonymitet i forbindelse med at de modtog grundig information om formålet med undersøgelsen [3]. En uge efter besvarelsen modtog lederne deres individuelle rapporter med respondenternes samlede evaluering. Figur 1 præsenterer et eksempel på en rapportside.

I gruppe 1 blev rapporterne gennemgået af underviserne på lederuddannelsen med erfaring i sparring omkring 360-graders-evaluering, ligesom den enkelte leder diskuterede sit resultat med udvalgte medlemmer af lederholdet og fremlagde udviklingsmål, der var skabt på baggrund af rapporten.

I gruppe 2 udnyttede alle otte ledere tilbuddet om en samtale med den overordnede leder. Ved denne samtale medbragte den evaluerede leder sin egen evaluering og gennemgik og diskuterede den med den overordnede leder. Samtalerne varede ca. 30 minutter. De overordnede ledere havde ikke kendskab til indholdet i evalueringen før mødet. De overordnede ledere havde ud over erfaring fra egne 360-graders-ledelsesevalueringer fået en kortvarig orientering om principper og værktøjer for sådanne samtaler.

Spørgeskema og interviews til evaluering af metoden

Vurdering af ledernes udbytte af 360-graders-ledelsesevalueringen blev foretaget cirka to måneder efter evalueringen dels ved et spørgeskema og dels ved et gruppeinterview med grupperne hver for sig. Spørgeskemaets indhold fremgår af Tabel 1 . Gruppeinterviewet var struktureret og tilstræbte at kvalificere områderne, der blev søgt afdækket af ovennævnte spørgeskema.

Statistik

Vurderingerne »I nogen grad«, »I høj grad« eller »I meget høj grad« tolkes som udtryk for et acceptabelt niveau. Tilsvarende omtales i det følgende »delvist enig«, »enig« og »helt enig« som udtryk for en acceptabel enighed. Sammenligning af de to gruppers udbytte er foretaget med Pearsons χ2 -test.

Resultat

I alt 32 ledere blev evalueret. Fire deltog ikke i den opfølgende vurdering af metoden. To var ophørt i ansættelsen, og to var langtidssygemeldt. I denne opfølgende vurdering deltog 20 fra gruppe 1 (83%) og otte fra gruppe 2 (100%).

Besvarelsen af spørgeskemaet fremgår af Tabel 1. Det blev bekræftet, at det var let at udfylde det elektroniske spørgeskema . På spørgsmålet om, hvorvidt lederne havde haft udbytte af 360-graders-ledelsesevalueringen , svarede alle på nær én person »i nogen grad« eller bedre (Figur 2 ). Der var ikke signifikant forskel mellem de to grupper.

I gruppe 1 anførte 75%, at de havde haft udbytte af evalueringen »i meget høj grad« eller »i høj grad«, mens kun knap 50% i gruppe 2 havde den samme grad af udbytte af metoden (p = 0,09). Denne tendens gik igen i besva relsen af spørgsmålene om, hvorvidt metoden havde givet lederen nye ideer (hhv. 40% og 12% havde fået nye ideer) og, om udviklingsområder var blevet synlige (73% og 38% mente, at metoden havde udpeget udviklingsområder) (Figur 3 ). De sidstnævnte to spørgsmål blev samlet scoret »i nogen grad« eller bedre for 90% vedkommende.

Vi undersøgte også forholdet hvem lederne mener, der skal modtage de individuelle rapporter. Vi spurgte: »Både min leder og jeg skal have min rapport tilsendt?« Herpå svarede godt 80%, at de var »delvist enig« eller mere enige. Kun godt 50% var helt enige i den antagelse).

På et spørgsmål om, hvorvidt kun lederens chef skal have rapporten tilsendt, fremstår grupperne overbeviste og ens, idet 100% er »delvist uenig« eller »helt uenig« i dette udsagn. Kun en fra hver gruppe har anført »delvist uenig« i dette udsagn. På spørgsmålet om, hvorvidt »Samarbejdspartnerne skal have rapporten tilsendt?«, anfører 80% at være »helt uenige« eller »delvist uenig« i dette udsagn.

Af Tabel 1 fremgår det, at respondenterne efter ledernes mening godt må være anonyme, idet kun 10% af lederne finder det uhensigtsmæssigt med anonymitet blandt respondenterne.

Vi fandt flere udsagn fra lederne, der bekræftede metodens anvendelighed, samt at metoden har sin største berettigelse når en omfattende opfølgning finder sted: Følgende udsagn fra undersøgelsens »åbne spørgsmål« illustrerer ledernes egen vurdering af udbyttet.

»Et sted, som jeg godt vidste i forvejen, er nu kommet frem i øjenhøjde, så jeg nu har mere opmærksomhed på dette punkt. Når man ser det på skrift og ,søjler` tænker man over det på en anden måde«, og

»Fik justeret egenopfattelsen i forhold til såvel over-, side- og underordnede«, og

»Jeg har fået et mere klart indtryk af, hvad medarbejderne mener, jeg kan blive bedre til og dermed, hvad det er, jeg skal arbejde videre med«, og

»Jeg har prøvet det to gange. Første gang forestod en psykolog opfølgningen. Anden gang var der reelt ingen opfølgning for min del. Jeg havde absolut mest glæde af det første. Stort set ikke gavn af nummer to«.

De foretagende interviews underbygger de besvarelser, der var indkommet med spørgeskemaet til evaluering af metoden. På lederholdet var tilfredsheden med metoden størst, mens man der blandt lederne i klinikken i beskedent omfang blev udtrykt forbehold for udbyttet af metoden.

Vi har foretaget et skøn over hvilket tidsforbrug, der har været ved de to typer af 360-graders-ledelsesevaluering. For gruppe 1, som fik en mere udtalt sparring dels med holdmakker fra ledelseskurset og med coach fra kurset, anslår vi et tidsforbrug pr. evaluering på 6,5 timer, hvilket inkluderer tidsforbrug hos lederen, respondenter, coach og sekretær. For gruppe 2 med mindre sparring anslår vi tidsforbruget sammenlagt til fem timer pr. ledelsesevaluering. For begge grupper kan der tilkomme engangsudgifter til indkøb af software samt leje af server (20.000 kr. pr. år for et ubegrænset antal ledere på hospitalet).

Diskussion

Det er blevet belyst og diskuteret i flere sammenhænge, at feedbacksystemer kan medvirke til at øge produktiviteten, fordi feedback kan ændre uproduktiv adfærd (»dårlig kommunikation«, »dårlig interkollegialitet« og »mangel på professionel adfærd«) [2-4, 9]. At det kan have den modsatte effekt er imidlertid også kendt [3], især når evalueringerne falder negativt ud. At effekten kan være beskeden er ligeledes beskrevet [10]. Hovedparten af lederne i denne undersøgelse mener, at de har fået et udbytte af evalueringen, og at undersøgelsen har medvirket til at understrege styrker og udviklingsområder for dem.

Andre undersøgelser har peget på, at højt deltagerudbytte skal ses i lyset af, at der ikke er tilknyttet økonomiske belønning til evalueringen [2-4]. De ledere, der gennemgik lederevalueringen som en del af deres lederuddannelse (gruppe 1), opnåede formentligt det største udbytte. Hovedparten af spørgsmålene viser tendens i den retning, men der var ikke en signifikant forskel på de to gruppers evaluering af metoden. Dette kan bero på størrelsen af de undersøgte grupper. Tendensen kunne efter vores vurdering skyldes den mere indgående sparring fra »makkere« og underviserne i gruppe 1. Dette peger andre studier på [3].

Lederne i gruppe 1 har dog også i kraft af deres tilmelding til hospitalets lederuddannelse, som var udgangspunktet for deres 360-graders evaluering, formentligt været mere motiverede for at blive evalueret. Undersøgelsen kan alene i de kvalitative gruppeinterviews bekræfte denne antagelse. I litteraturen understreges det, at evalueringsmetoden anvendt i udviklingsøjemed frem for som et vurderingsredskab hyppigst giver de bedste resultater [3] og accepteres bedst blandt medarbejderne.

Lederne finder det væsentligt, at de selv modtager egen rapport. Et beskedent flertal af de adspurgte mener, at deres ledere også bør have rapporten tilsendt.

Konklusion

Med det aktuelle arbejde mener vi at kunne dokumentere, at man gennem en 360-graders ledelsesevaluering kan give de deltagende ledere et væsentligt udbytte, nye ideer og udviklingsområder. Metoden accepteres hos de involverede ledere, hvad enten man efter evalueringen modtager omfattende sparring eller blot sparring fra afdelingslederen uden speciel uddannelse i metoden. Lederne, der modtog sparring af personer med specialkendskab til metoden, synes dog at have større udbytte af evalueringen.

Lars Bo Krag Møller , Hvidovre Hospital, Udviklings- og Uddannelsesafdelingen, Afsnit 046, Kettegårds Alle 30, DK-2650 Hvidovre. E-mail: lars.krag.moeller@hvh.regionh.dk

Antaget: 31. marts 2008

Interessekonflikter: Ingen

1. Joint Commission International Accreditation JCIA. Standarder for Hospitaler. 2007.
2. Edwards MR, Ewen AJ. 360o feedback. Den effektive nye model til medarbejderevaluering og præsentationsforbedring. Forlaget Bølgen, 1999.
3. Wimer S, Nowack KM. 14 common Mistakes Using 360-Degree Feedback. Training & Development Maj 1998.
4. Peiperl MA. Getting 360 Feedback Right. Harvard Buisness Review. Jan 2001
5. Facteau JD, Craig SB. Are performence appraisal ratings from different rating sources comparable? J Appl Psychol. 2001;86:215-27.
6. Larsen K. Se dig selv med kollega ernes øjne. Ugesk Læger 2006;39:3342-3.
7. Whitehouse A, Hassell A, Wood L et al. Development and reliability testing of TAB a form for 360 degrees assessment of Senior House Officers' professional behaviour, as specified by the General Medical Council. Med Teach 2005;27:252-8.
8. Garman AN, Tyler JL, Darnall JS. Development and validation of 360-degree-feedback instrument for healthcare administrators. J Healthc Manag 2004;49:307-21.
9. Violato C, Lockyer J, Fidler H. Multisource feedback: a method of assessing surgical practice. BMJ 2003;326:546-48.
10. Personalestyrelsens hjemmeside. Ledelsesevaluering i staten - et grundlag for dialog og udvikling [abstrakt]. www.perst.dk (maj 2007).