Klinisk kompetencevurdering er central i alle speciallægeuddannelser

Klinisk kompetencevurdering (workplace-based assessment) dækker over testning af kompetence i virkelige situationer. Selvom kompetencevurdering er et relativt nyt begreb inden for mange kliniske specialer i Danmark, bygger det på lange traditioner fra Nordamerika. Her har testudvikling vundet tiltagende indpas siden
1. verdenskrig, hvor psykometrien har forsynet militær og uddannelsesinstitutioner med begreber som pålidelighed (reliability) og validitet. Pålidelighed er et udtryk for et givent måleredskabs nøjagtighed. I klassisk testteori angives pålidelighed som den andel af en testscore, der kan tilskrives den »sande score« i forhold til tilfældig støj (fra f.eks. case, bedømmer og måleredskab) [1].

Validitet dækker over, hvorvidt testresultaterne er udtryk for den kompetence, der ønskes vurderet. Som eksempel vil multiple choice-questions (MCQ) kunne reflektere forskellige grader af teoretisk viden, men vil næppe være et validt mål for vurdering af praktiske kirurgiske færdigheder. Kompetencevurdering bør således tilpasses det, der ønskes vurderet.

Millers pyramide er ofte anvendt til at illustrere, hvordan kompetencevurdering bør afstemmes med forskellige niveauer eller udtryk for kompetence – fra knows over knows how, shows how til does (Figur 1) [2]. Der findes mange forskellige kompetencevurderingsmetoder, der dækker over generelle såvel som specifikke redskaber. Således kan man bruge en Objective Structured Assessment of Technical Skills (OSATS) til specifik vurdering af kirurgiske færdigheder, en mini clinical evaluation exercise (CEX) til vurdering af håndteringen af en patientkonsultation eller en 360-gradersevaluering til en generel vurdering af en uddannelsessøgendes samarbejde med forskellige faggrupper [3].

Kompetencevurdering deles ofte op i summativ og formativ vurdering, afhængigt af formål med testen. Summativ vurdering er ofte synonymt med en testsituation, hvor formålet er at bedømme, om det opnåede kompetenceniveau er tilstrækkeligt til, at eksaminanden kan bestå. Formativ vurdering handler derimod om at give feedback til den uddannelsessøgende efter endt kompetencevurdering med henblik på at forbedre fremtidige præstationer. Grænserne er dog flydende, idet meningsfuld kompetencevurdering kræver, at niveauet er klart for den uddannelsessøgende og bedømmeren, samtidig med at enhver bedømmelse bør ledsages af feedback og instruktion [4]. I Tabel 1 gives der et overblik over hyppigt anvendte metoder.

Ønsket om pålidelige og valide test har i Nordamerika været drevet af juridiske såvel som patientsikkerhedsmæssige hensyn og omfatter alle dele af uddannelsessystemet fra prægraduat uddannelse til certificering og recertificering på speciallægeniveau. Sundhedsstyrelsen har siden 2003 anbefalet, at klinisk kompetencevurdering bør indgå som bærende led i fremtidens speciallægeuddannelser [5], og udgav i 2013 en oversigt over tilgængelige kompetencevurderingsmetoder [6]. Da speciallægeanerkendelse i Danmark opnås ved godkendelse af obligatoriske uddannelseselementer og ikke gennem en »specialisteksamen«, er det danske system således baseret på
løbende kompetencevurdering for at sikre, at de uddannelsessøgende har tilegnet sig den nødvendige kompetence, der forventes på speciallægeniveau.

KOMPETENCEVURDERINGS ANVENDELIGHED

For at sikre størst mulig anvendelighed af kompetencevurderingsmetoderne bør deres pålidelighed, validitet, omkostninger, brugeraccept og læringsværdi tages i betragtning [7]. De anvendte metoder bør have en pålidelighed, der sikrer nøjagtige målinger og tilstrækkelig evidens for deres validitet for at sikre, at testresultaterne afspejler den kompetence, der vurderes. Der er i den medicinske uddannelseslitteratur bred enighed om, at kompetence bør vurderes gentagne gange og med forskellige metoder for at sikre en høj pålidelighed og validitet i kompetencevurderingen. Desuden anbefales det at bruge flere forskellige bedømmere for at mindske bias i vurderingerne. Bias kan dog aldrig helt undgås.

Nyere forskning peger i retning af, at globale vurderinger, der trækker på vejlederes overordnede vurdering af den uddannelsessøgende, formentlig er mere valide udtryk for kompetence end summen af mange detaljerede vurderinger [8]. Et dansk studie inden for anæstesiologisk uddannelse viste imidlertid, at klinikerne foretrak tjeklister frem for globale vurderinger, hvilket forfatterne tilskrev, at tjeklister tydeliggjorde uddannelsesprogrammets læringsmål for de kliniske vejledere og de uddannelsessøgende [9]. De økonomiske og tidsmæssige omkostninger, der er forbundet med kompetencevurdering, er afhængige af den valgte metode, og man bør derfor anvende redskaber, hvormed man kan tage udgangspunkt i arbejdssituationer, og som kan fungere i en travl klinisk hverdag. De kliniske vejlederes og uddannelsessøgendes accept af kompetencevurdering har stor betydning ikke kun for pålideligheden og validiteten af testresultaterne, men også for implementering af kompetencevurdering som et fast element på de enkelte afdelinger. Kvalificering af de kliniske vejledere spiller derfor en central rolle, men også omfanget af kompetencevurdering er vigtig.

Et dansk studie viste, at kompetencevurderingsmetoderne hurtigt reduceredes til avancerede afkrydsningsøvelser, hvis de kliniske vejledere ikke opfattede redskaberne som autentiske i testsituationen [10]. Den sidste faktor, som er af betydning for metodernes anvendelighed, er deres læringsværdi. I et større review har man påvist sparsom evidens for effekten af kompetencevurdering på lægers læring [11]. Dette review omfatter dog primært generiske kompetencevurderingsredskaber såsom mini-CEX, 360-gradersevaluering og direkte observation af procedurer. Kun i ét tilfælde (360-gradersevalueringen) er der dokumenteret positiv effekt på læring, men her blev kompetencevurderingen ledsaget af vejledende mentorsamtaler, hvilket muligvis har haft indflydelse på resultaterne.

I et nyligt publiceret hollandsk studie undersøgte man de uddannelsessøgendes og de kliniske vejlederes oplevelser og erfaringer med kompetencevurdering [12]. De fleste uddannelsessøgende værdsatte muligheden for struktureret feedback, men mange mente samtidig, at kompetencevurdering var en ekstra arbejdsbyrde, hvis udbytte afhang af organisationens evne til at inkorporere den som en del af produktionen i klinikken. I et nyere dansk studie har man ligeledes påvist, at hvis nye uddannelsesinnovationer skal blive en success, skal der være støtte fra alle niveauer i uddannelsessystemet, og at incitamentet til kompetencevurdering derfor ikke alene bør påhvile de uddannelsessøgende [13].

Hvis kompetencevurderingen skal medføre positiv effekt på læring, må man derfor sikre grundig oplæring af kliniske vejledere. I de tilfælde, hvor kompetencevurderingen er formativ, skal den følges af meningsfuld feedback, idet en kompetencevurderingsscore i sig selv har begrænset læringsværdi [14]. I simulationsforskningen findes modeller for, hvordan feedback kan bruges til at afdække, hvilke overvejelser og følelser samt hvilken viden der ligger til grund for den uddannelsessøgendes handlinger [15]. Disse modeller giver mulighed for at stimulere til refleksion hos den uddannelsessøgende og kan hjælpe de kliniske vejledere til at formidle kritik på en konstruktiv måde [16].

KOMPETENCEVURDERING OG PATIENTSIKKERHED

Kompetencevurdering har ikke blot betydning for de uddannelsessøgendes læring, hensynet til patientsikkerhed spiller også en rolle. Set fra et patientsikkerhedsperspektiv har kompetencevurdering til formål at identificere uddannelsessøgende, der ikke lever op til bestemte standarder. Birkmeyer et al foretog et studie af OSATS-bedømmelser i forbindelse med bariatrisk kirurgi og påviste, at kirurgernes OSATS-scorer var associeret til hyppigheden af operative såvel som perioperative komplikationer [17]. I et større britisk studie blev kompetencevurderinger fra en population af 1.646 uddannelsessøgende læger analyseret med henblik på at undersøge, om disse scorer kunne bruges til identificering af uddannelsessøgende, der havde vanskeligheder. Den prædiktive værdi af kompetencevurderingerne var dog meget lav, og den gruppe af læger, der kom i vanskeligheder, scorede ikke signifikant forskelligt fra de øvrige uddannelsessøgende på halvdelen af de undersøgte kompetencevurderingsmetoder [18].

Der er således evidens for, at kompetencevurdering kan reflektere adfærd, der har betydning for patientsikkerhed, men at kompetencevurderingsscorerne næppe kan bruges til forudsigelse af, hvordan de uddannelsessøgende vil præstere i fremtiden.

KOMPETENCEKORT

I speciallægeuddannelsen er et af formålene med kompetencevurdering at bedømme den uddannelsessøgende med henblik på at give vedkommende større
ansvars- og opgaveområder. I den sammenhæng kan tolkningen af de mere generiske kompetencevurderinger vise sig at være problematisk. Dels bliver de uddannelsessøgende ofte vurderet urealistisk højt af deres
kliniske vejledere, og dels kan der opstå tvivl om fortolkningen af testresultatet blandt de kliniske vejledere til trods for, at der imellem dem hersker enighed om de enkelte uddannelsessøgendes præstationer [19].

Begreberne betroede professionelle aktiviteter (entrusted professional activities (EPAs)) og milepæle har derfor vundet tiltagende indpas. Til bedømmelse af EPAs anvendes kompetencekort, der kan opfattes som et »kørekort«, som tildeles den uddannelsessøgende, når denne har udvist evne til selvstændigt at udføre en specifik arbejdsopgave på tilfredsstillende vis. Kompetencekort sigter mod holistisk vurdering af hele opgaver, der er relevante for den uddannelsessøgendes
kliniske virke [20] og kan således involvere flere lægeroller og mange delkompetencer – f.eks. i forbindelse med stuegang på en internmedicinsk afdeling [21]. Milepæle omfatter udviklingsmæssige beskrivelser af, hvorledes og hvornår den uddannelsessøgende kan forventes at flytte sig på vej mod tiltagende klinisk selvstændighed [22].

I Danmark er f.eks. godkendt introduktionsuddannelse eller oprykning i vagtlag at betragte som milepæle. Hvor tolkningen og konsekvenserne af en OSATS, en mini-CEX eller en casebaseret diskussion kan være svært gennemskuelige, frembyder kompetencekort og milepæle en kliniknær form for kompetencevurdering, der omfatter den holistiske bedømmelse og respekterer de kliniske vejlederes globale dømmekraft. Inden for anæstesiologisk uddannelse har Danmark været blandt de første i verden til at etablere strukturerede forløb med brug af kompetencekort, EPAs og milepæle – f.eks. med hvilke kompetencekort der skal være bestået inden for en bestemt tidsramme, eller hvilke der skal være bestået, for at man kan gå i vagt [23].

På Dansk Selskab for Anæstesi og Intensiv Medicins hjemmeside findes der eksempler på kompetencekort til vurdering af tekniske og ikketekniske færdigheder.

UDFORDRINGER OG FREMTIDENS
KOMPETENCEVURDERING I DANMARK

Kompetencevurdering har en central plads inden for lægelig videreuddannelse, men en succesfuld implementering kan kun ske ved kritisk valg af kompetencevurderingsmetoder til eget speciale, uddannelse af vejledere i at anvende disse og ledelsesopbakning til at sikre, at kompetencevurdering kan foretages i en travl klinisk hverdag. En OSATS-vurdering og en 360-gradersevaluering uden veldefinerede formål og uddannelsesmæssige konsekvenser bliver nemt synonymt med avancerede afkrydsningsøvelser – og i så fald kan kompetencevurdering forekomme meningsløs for såvel de uddannelsessøgende som de kliniske vejledere [12].

Kompetencevurdering kræver grundig oplæring af brugerne, tid i det kliniske arbejde og meningsfulde konsekvenser af vurderingerne i form af klart definerede kriterier for, hvilke funktioner den uddannelsessøgende må varetage selvstændigt [24]. Brugen af kompetencekort er ét godt bud på, hvordan disse udfordringer kan imødekommes og integreres på en meningsfuld måde i fremtidig klinisk praksis, således at
tildeling af ansvar baseres direkte på den uddannelsessøgendes kompetencer.

Korrespondance: Martin G. Tolsgaard.
E-mail: martintolsgaard@gmail.com

Antaget: 3. juni 2014

Publiceret på Ugeskriftet.dk: 15. september 2014

Interessekonflikter: