Mini-clinical evaluation exercise til evaluering af kommunikation og samarbejde i ambulatoriet

Introduktion: I speciallægeuddannelsen er der fokus på svært målbare kompetencer som kommunikation og samarbejde. Mini- Clinical Evaluation Exercise (mini-CEX) er standardiseret direkte observation ved brug af et observationsskema, og vi ville teste om mini-CEX: 1) Var anvendeligt til at evaluere yngre lægers kompetencer i patientkontakt og 2) Var egnet til at give reproducerbare informationer.

Materiale og metoder: 21 yngre læger blev evalueret med mini-CEX af trænede observatører. I alt 17 læger havde mere end to observationer med kort interval. Disse blev brugt til at vurdere reproducerbarheden af data. Læger og sygeplejersker udfyldte også et spørgeskema vedrørende tilfredsheden med at evaluere med mini-CEX.

Resultater: Observationerne tog 20 minutter (10-60). Feedback blev foretaget lige efter og tog 15 minutter (5-60). Tiden til feedback blev halveret ved næstfølgende evalueringer af samme læge. Der var stor intern konsistens i data for såvel læger som observatører. Der var ingen klinisk signifikant forskel mellem lægens egenvurdering og observatørens vurdering, hvilket også var tilfældet mellem ambulatoriepersonalets vurdering og observatørens vurdering. Der var fra lægernes side stor tilfredshed med anvendelsen af mini-CEX.

Konklusion: Mini-CEX er et effektivt og accepteret formativt evalueringsredskab til at vurdere lægers evner til kommunikation og samarbejde med personale og patient i ambulatoriet.

I den nye speciallægeuddannelse er der via målbeskrivelserne øget fokus på andre kompetencer end de direkte behandlingsrettede kvalifikationer. Disse kompetencer er vanskelige at vurdere, og derfor er der behov for at afprøve mere strukturerede fremgangsmåder. Til evaluering af den direkte patientkontakt er der flere mulige evalueringsredskaber [1]. Optimalt set bør metoden være enkel og let tilgængelig, reproducerbar og informativ for såvel den uddannelsessøgende som vejleder.

Mini-clinical evaluation exercise (mini-CEX) blev udviklet i USA i 1995 for at vurdere kliniske færdigheder hos medicinstuderende og læger under uddannelse. Mini-CEX er i dag accepteret af American Board of Internal Medicine [2, 3] og af Royal College of Physicians i England [4]. Erfaringer har vist, at det tager 15-20 minutter at udfylde og evaluere med mini-CEX, ligesom redskabet er brugbart til evaluering over tid [3]. Skemaet er valideret i forhold til andre amerikanske måleredskaber [5], og reproducerbarheden er høj ved mange, gentagne målinger, selv når det sker med forskellige observatører [6].

På Onkologisk Afdeling i Odense og Organkirurgisk Afdeling i Esbjerg indgik man i efteråret 2005 et samarbejde med det formål at teste, om mini-CEX er et redskab, der i praksis kan anvendes ved evalueringen af uddannelsessøgende lægers kompetencer i kommunikation og samarbejde, og om redskabet er egnet til at give reproducerbare informationer.

Materiale og metoder

Mini-CEX-skemaet kan ses i pdf-versionen af artiklen på www.ugeskrift.dk. På forsiden af mini-CEX-skemaet er der trykt en vejledning, og der er plads til at angive, hvor evalueringen har fundet sted samt til at gradere kompleksiteten af konsultationen. På bagsiden kan følgende vurderes på en 9-punkts skala: Anamnese og objektiv undersøgelse, empati og professionel adfærd, klinisk dømmekraft og vurdering, patientvejledning og rådgivning, organisation og samarbejde, samt den generelle kliniske kompetence. Endelig er der plads til at angive forbrugt tid samt en overordnet vurdering af lægen samt dennes tilfredshed med evalueringen. Et til tre point er under det forventede niveau, 4-6 er det forventede niveau, mens 7-9 point betegnes som over det forventede niveau. Derved sikres, at lægen vurderes i forhold til det forventede niveau på undersøgelsestidspunktet. Skemaet er udarbejdet ud fra tilsvarende amerikanske skemaer men tilpasset danske forhold og specialet klinisk onkologi. En regelret validering har således ikke fundet sted, men skemaerne har været afprøvet over en periode på et år for at samle erfaringer før projektperiodens start.

Mini-CEX-evalueringerne foregik i ambulatoriet på Organ-kirurgisk Afdeling i Esbjerg og på Onkologisk Afdeling i Odense. Tilstede var observatøren, den uddannelsessøgende samt den sygeplejerske, der bistod ved konsultationen. Observation og feedback foregik ens på de to afdelinger med den ene forskel, at observatøren i Odense ikke deltog aktivt i konsultationen, mens observatøren i Esbjerg også fungerede som sygeplejerske. Alle patienter blev informeret om tilstedeværelsen af observatøren og fik mulighed for at afstå fra deltagelse.

Under konsultationen vurderede observatøren samtalen og udfyldte mini-CEX-skemaet. Efterfølgende udfyldte også lægen skemaet. Skemaerne blev umiddelbart efter gennemgået punkt for punkt i en samtale mellem den uddannelsessøgende og observatøren (feedback).

Lægen og ambulatoriesygeplejersken fik også udleveret korte spørgeskemaer, som omhandlede lægens og sygeplejerskens oplevelse af evaluering med Mini-CEX til vurdering af selve evalueringsprocessen. Dette skema skulle udfyldes efter konsultationen og blev afleveret til observatøren inden for få dage efter observationen. Alle udtalelser fra spørgeskemaerne blev kategoriseret og optalt af en af forfatterne (KA) sammen med en uafhængig forsker.

Fra 1/10 2005 til 30/9 2006 indgik i alt 21 uddannelsessøgende læger i projektet. Lægerne var alle ansat på afdelingerne ved projektets start eller blev ansat under forløbet. Deltagelse var frivillig. Til denne del af undersøgelsen blev alle superviseret en gang og 17 mindst to gange med under to ugers interval - i alt 47 observationer. Femten læger fra Odense og seks fra Esbjerg.

Statistik

Data blev bearbejdet ved brug af deskriptiv statistik, nonparametriske test og Fishers eksakte test. En tosidet p-værdi < 0,05 blev betragtet som signifikant. Chronbachs alfa blev brugt til at beregne bedømmelsernes interne konsistens. En værdi over 0,7 blev betragtet som udtryk for acceptabel reliabilitet [7]. Den »rå« alfa er et udtryk for, hvor stærkt variable er relateret og jo højere værdi jo mere konsistent test, mens den standardiserede alfa er et udtryk for kovariansen mellem distributione n af to variable, som det er muligt at vurdere, da der arbejdes med sammenlignelige skalaer. Data blev bearbejdet i samarbejde med en ekstern statistiker.

Resultater

Alle evalueringer foregik i ambulatoriet, og der var tale om forskellige typer konsultationer (forundersøgelse, information om behandling, kontrol, efterbehandling m.v.). Lægerne beskrev kompleksiteten af konsultationen som »let« i 17 af 46 tilfælde (37%), »moderat« i 52% (24/46), mens kun fem konfrontationer (11%) blev betegnet som »svære«. I et tilfælde var kompleksiteten ikke scoret. Der var intet mønster, i hvordan konsultationerne blev scoret af den enkelte læge, ligesom fordelingen i lette og svære konsultationer var ensartet fordelt mellem første- og andengangskonsultationer. I lighed med erfaringer fra andre [3] var der en ikkesignifikant tendens til at læger med svære konsultationer scorede højere end læger, der blev vurderet på lettere konsultationer. Der var ingen signifikant forskel mellem lægens og observatørens vurdering af konsultationens kompleksitet. Den interne konsistens vurderet med Chronbachs alfa er vist i Tabel 1.

Observationstiden tog mediant 20 minutter med variation fra ti til 60 minutter. Der var ingen forskel mellem observationstiden ved første og efterfølgende konsultationer. Feedback på observationen blev foretaget umiddelbart efter og tog for alle observationer mediant 15 minutter (5-60 minutter). Første gang den uddannelsessøgende fik feedback, tog det mediant 20 minutter (7-60 minutter) mod 10 minutter (5-20 minutter) ved efterfølgende observationer. Der var en ikkesignifikant tendens til, at konsultationerne tog lidt længere tid på Onkologisk Afdeling end på Kirurgisk Afdeling, mens der ikke var reel forskel på feedbacktiden.

Blandt de 47 observationer var der ingen signifikante forskelle på, hvordan lægen og observatøren scorede kategorierne anamneseoptagelse, empati og professionel adfærd, klinisk dømmekraft og vurdering, patientvejledning og rådgivning samt generel klinisk kompetence, mens der i kategorierne objektiv undersøgelse (p = 0,02) og organisation og samarbejde (p = 0,01) var signifikant forskel på observatørens og lægens scoring, idet observatørerne vurderede lægerne lidt bedre, end lægerne vurderede sig selv. Denne forskel var dog baseret på en forskel på mindre end et halvt point på den anvendte 9-punkts skala, hvorfor den ikke kan betragtes som klinisk signifikant.

For 22 observationer var det muligt at undersøge forskelle mellem ambulatoriesygeplejerskens og observatørens scoring af lægen. På alle kategorier undtagen organisation og samarbejde (p = 0,03) var der ingen signifikant forskel i scoringerne. Den signifikante forskel på organisation og samarbejde var igen baseret på, at sygeplejerskerne vurderede lægerne lidt bedre, end lægerne vurderede sig selv (mindre end et halvt point og dermed ikke klinisk signifikant).

De efterfølgende spørgeskemaer om selve processen blev besvaret ved 81% af observationerne for lægernes vedkommende, mens ambulatoriesygeplejerskerne besvarede skemaet ved 80% af observationerne. Eksempler på spørgsmål og svar er præsenteret nedenfor.

Uddannelsessøgende læger

Lægerne blev spurgt: »Hvordan var det at deltage i undersøgelsen?« Ud af 45 kommentarer handlede 31 (69%) om værdien af at få feedback: »Godt at få kommentarer til min samtale og ideer til forbedringer«. En læge skriver: »... tænker ikke over, at der observeres under konsultationen og rart med feedback efterfølgende«. En anden læge er mere ambivalent: »Man føler sig noget eksponeret, men rart at få konstruktiv kritik«. En tredje mente: »God idé, at det er en sygeplejerske. Det fjerner lidt af det faglige pres«.

»Når du fik feedback, mener du, at du blev bedømt retfærdigt? Ja/Nej, fordi:« blev besvaret af samtlige læger med »Ja«, og 26 havde yderligere kommentarer. Metodens pålidelighed var emnet i 35% af tilfældene: »Det var professionelt«. »Uvildig bedømmelse, god tid til at tale om eventuelle forbedringer«. Til det positive udfald bidrog sandsynligvis, at flere af lægerne, var enige med bedømmerne. »Deres evaluering passede med min«. I alt 54% af kommentarerne handlede om værdien af feedback: »Blev gjort opmærksom på ting jeg ikke var bevidst om, som jeg forhåbentligt kan huske at bruge«.

»Har du haft nytte af den feedback, du fik?«. Alle lægerne besvarede dette spørgsmål med »Ja«. Der var 23 kommentarer, hvoraf 76% handlede om, hvor lærerigt det var at deltage og værdien af feedback. »Ja meget. Fået redskaber til at komme lidt videre i meget besværlige samtaler«. »Ja, jeg oplever at få konstruktiv kritik, som jeg kan bruge i fremtidige situationer«.

Evaluerende ambulatoriesygeplejersker

»Var det svært at bedømme lægen? Hvis ja, hvorfor?« blev i de fleste tilfælde besvaret med »Nej«. Men fra de 45 observationer var der fem tilfælde, hvor spørgsmålet blev besvaret med »Ja«. Motiveringen var enten, at patienten ikke var egnet til seancen, eller at sygeplejersken ikke følte sig fortrolig med metoden.

Andet spørgsmål var: »Var det svært at forstå målene i mini-CEX-skemaet? Hvis ja, angiv hvilket, og kommenter«. Fra de 36 besvarelser fremgår det, at der stort set ikke var nogen problemer med forståelsen, men en sygeplejerske skrev »... jeg havde ikke så meget tid til at sætte mig ind i det«.

Til spørgsmålet »Kan du tænke dig at denne måde at evaluere uddannelsessøgende læger på kan blive rutine fremover?«. svarede alle »Ja« og kommenterede værdien af metoden: »På denne måde bliver det legalt for sygeplejersker at vejlede/evaluere yngre læger«. »Det giver anledning til en tværfaglig samtale - og mulighed for refleksion!«.

Diskussion

Vi ønskede med dette projekt at vurdere, om mini-CEX er et brugbart værktøj til vurdering af kommunikative og samarbejdsmæssige færdigheder; to af de syv roller, som den uddannelsessøgende læge skal mestre.

De største bekymringer ved det valgte design var, at der deltog flere observatører, og at undersøgelsen var udført på to principielt forskellige afdelinger. For at minimere forskellene afdelingerne imellem bistod observatøren i Odense i oplæringen af observatøren i Esbjerg. Observatøren i Esbjerg skulle tillige udføre sygeplejeopgaver, men det influerede dog ikke på, at hun var til stede under hele samtalen med mulighed for at fokusere alene på denne. At der var tale om to meget forskellige afdelinger, afspejledes også af tendensen til længere konsultationer i onkologisk regi sammenlignet med kirurgisk regi. De variable, der blev undersøgt i denne mini-CEX (med undtagelse af objektiv undersøgelse), er dog alment relevante for kommunikation, uanset hvilket speciale der er tale om.

Der var en stor intern konsistens i data inden for såvel observatørernes som lægernes egenvurdering vurderet ved både »rå« og standardiseret Chronbachs alfa. Dette tyder på stor reproducerbarhed i evalueringerne både inden for den enkelte variable og også mellem de forskellige variable i mini-CEX. For ambulatoriesygeplejerskerne i Odense lå Chronbachs »rå« alfa under 0,7, hvilket formentlig skyldes, at sygeplejerskerne ikke var trænede i denne form for observation og evaluering af uddannelsessøgende læger.

Reproducerbarheden blev underbygget af en stor overensstemmelse mellem observatørernes og lægernes scoringer inden for den enkelte observation, hv ilket tyder på en stor enighed om, hvordan konsultationen forløb. Overraskende var det dog, at der i Odense-data, hvor også den tilstedeværende ambulatoriesygeplejerske evaluerede den uddannelsessøgende, var en stor overensstemmelse mellem ambulatoriesygeplejerskens og observatørens vurderinger. Dette kunne tyde på, at det er muligt at træne rutinerede sygeplejersker på relativt kort tid til at score uddannelsessøgende læger med samme præcision som trænede observatører. Vores data kan dog ikke underbygge den hypotese, ligesom det ikke er muligt at sige noget om forskellen i kvaliteten af den efterfølgende rådgivning.

Den tid, som mini-CEX tager fra det daglige arbejde, ligger i den efterfølgende evaluering. Erfaringer fra USA har påpeget, at evaluering med mini-CEX tager 15-20 minutter [3]. Dette var i overensstemmelse med vores data, der for alle observationer tog 15 minutter omend med stor variation. Interessant var det dog, at den mediane tid til feedback var 20 minutter ved første evaluering mod mediant 10 minutter ved efterfølgende evalueringer. Dette tyder på, at mini-CEX er en evalueringsmetode, som kan indpasses i ambulatorieprogrammet - specielt ved gentagende evalueringer.

Da projektet foregik over en relativ kort periode for den enkelte læge, var det ikke muligt at sige noget om progressionen i evnen til kommunikation og samarbejde. Nyere data tyder på, at der skal mere end ti observationer til, for at metoden kan bruges summativt [8], men dette forhindrer ikke at den bruges formativt. Alene det, at skemaet skal udfyldes og diskuteres af såvel lægen som observatøren, sikrer, at den uddannelsessøgende får vurderet sine evner til at sikre et optimalt møde mellem behandler og patient [9] samt får feedback baseret på observerede handlinger. At metoden er egnet til dette, understøttes af de kvalitative data, der peger på høj accept af mini-CEX både hos lægerne og observatørerne. Alle deltagere mente, at metoden kan blive standard i uddannelsesforløbet for læger. Lægerne fandt, at den systematiske feedback og læring fra mini-CEX var stor, ligesom sygeplejerskerne angav, at metoden gør det legitimt for dem at vejlede læger.

Jesper Grau Eriksen, Odense Universitetshospital, Onkologisk Afdeling R, DK-5000 Odense C.E-mail: jesper@oncology.dk

Antaget: 22. oktober 2008

Interessekonflikter: Ingen

Taksigelser: Tak til professor, dr.phil. Peter Allerup, Danmarks Pædagogiske Universitet, for hjælp til den statistiske bearbejdning af data.