Lad tusind blomster blomstre

Lægeforeningens konference om evaluering og kompetencemåling inden for det medicinske område viste ikke mindst, at Danmark er væsentligt længere på evalueringsområdet end vi måske troede. Eksperterne var enige om, at udviklingen på evalueringsfeltet i Danmark er den helt rigtige - der skal udvikles en mangfoldighed af metoder, der skal tilpasses det, der ønskes målt eller evlaueret. Store centraliserede systemer fungerer ikke.

Lægeforeningen afholdt den 8. november 2002 konferencen »Evaluering og Kompetencemåling inden for den medicinske uddannelse«.

Formålet med konferencen var at sætte fokus på evaluering af den præ- og postgraduate uddannelse samt efteruddannelse for herved at initiere en dansk evalueringskultur.

Konferencen skulle præsentere forskellige metoder til evaluering og give deltagerne mulighed for at fordybe sig inden for de forskellige retninger.

Dagen var tilrettelagt, således at formiddagen bestod af to teoretiske oplæg samt fire parallelle workshopper, og eftermiddagen bestod af to nye teoretiske oplæg samt en gentagelse af formiddagens workshopper.

Dagens fire oplægsholdere gav under de teoretiske oplæg deres bud på evaluering af den medicinske uddannelse, og deltagerne fik ved at deltage i de forskellige workshopper mulighed for at fordybe sig i oplægsholdernes overordnede teoretiske betragtninger om evaluering og kompetencemåling.

Konferencen fokuserede på følgende to områder:

Er det muligt at evaluere, herunder hvilke metoder er anvendelige?
Hvilke af lægens færdigheder er væsentlige at få belyst i forbindelse med evaluering?

I forhold til det første fokusområde beskriver professor Janet Grant i sit oplæg den teori, der ligger til grund for de seneste 30 års evaluering og resultatet heraf. Mod dette historiske rids beskriver professor Cees van der Vleuten samtidens tendenser inden for evaluering og kommer med sit bud på anvendelige metoder til fremtidige målinger af lægens kompetence.

Professor Geoff Normann og professor Colin Coles har begge fokus på de særlige karakteristika, der kan knyttes til ekspertens unikke kompetence og viser, hvordan mange evalueringer desværre ofte fokuserer på lægens mere generelle færdigheder. Dette medfører, at evalueringerne bliver simple registreringer af lægens teoretiske og praktiske færdigheder, hvorimod ekspertens særlige kompetence overses eller ikke bliver tilstrækkelig værdisat i evalueringerne.

Ingen sammenhæng mellem årsag og virkning

Professer Janet Grant, Open University Centre for Education in Medicine, England, stod for konferencens første oplæg, der blev holdt under titlen »The Theory of Evaluation«.

Janet Grant indledte med en kort præsentation af de teorier, der i de seneste 20 år har påvirket forskningen og dermed periodens evalueringsprojekter og undersøgelser. En af pointerne i oplægget var, at teoriudviklingen stoppede i 70'erne, hvorefter det udelukkende er evalueringsmetoderne, der har været under udvikling. Teorierne har påvirket periodens forskningsresultater, men manglen på ny teoridannelser har bevirket, at metoderne ikke er blevet fornyet i næsten 30 år, skønt vores viden om læring og indlæring er blevet væsentlig mere differentieret og udbygget, end den var, da teorierne blev udviklet.

Teori er altid forskellig fra metode, fordi teorier fungerer som skabeloner og bagvedliggende styringsredskaber, hvor metoder sætter standarter og sikrer, at resultaterne er troværdige og pålidelige.

Janet Grant konkluderede afslutningsvis, at alt hvad der ønskes evalueret inden for medicinsk uddannelse kan evalueres. Men uddannelse og undervisning har iboende så mange variable, at evalueringen ikke nødvendigvis kan påvise en sammenhæng mellem årsag og virkning af det evaluerede stofområde. Derimod kan evaluering vise noget helt uventet eller stofområdet i en ganske ny sammenhæng, der i sig selv kan bringe evaluatoren videre.

Hvad skal evalueres i fremtiden og med hvilke metoder?

Professor Cees van der Vleuten, University of Maastricht, Holland, tog tråden op fra Janet Grant med sit oplæg »Where are we going with assessment and why?«

Cees van der Vleuten beskrev, hvordan forståelsen af kompetence, som en trekantskompetencemodel (se fig. 1) med kognitive kompetencer i bunden og praktiske kompetencer i toppen har været fremherskende inden for forskningen de seneste 40 år. Det har medført, at de dominerende metoder til kompetencemåling og evaluering, der er blevet udviklet til at måle ovenstående kompetencer bl.a. har været multiple-choiche-questions (MCQ), der har været anvendt til at evaluere kognitiv viden siden 1960'erne og Objective Structured Clinical Examination(OSCE), der siden midten af 1970'erne har været brugt til evaluering af praktiske færdigheder.

Det er langt fra tilstrækkeligt kun at anvende en enkelt metode, når lægens kompetence skal evalueres. Ifølge Cees van der Vleuten skal en lang række forskellige me- toder indgå, hvis hele spektret af lægens færdigheder skal evalueres.

En opfattelse af lægens kompetence, som trekantskompetencemodellen illustrerer, er ikke fuldstændig. Forståelse af lægens særlige kompetencer/praksis bør i høj grad baseres på en lang række såkaldte »metafærdigheder«, der lægges oven i lægens kognitive og praktiske kompetencer. Disse metafærdigheder kan karakteriseres som lægens evne til at lære, lægens evne til at lede, lægens sociale kompetencer, lægens refleksive evner osv.

En måling af lægens kognitive eller praktiske færdigheder vha. f.eks. MCQ eller OSCE må aldrig stå alene. Der må mere til. Fremtidens evalueringer skal, som Cees van der Vleuten afslutningsvis konkluderede, baseres på, at lægens metafærdigheder også måles. Men det kræver, at der udvikles og indføres nye metoder til evaluering som f.eks. selvevaluering, logbøger og porte folios.

Måling af kliniske færdigheder

Professor Geoff Norman, McMaster University, Canada, ønskede sig også mere raffinerede evalueringsmetoder. I sit oplæg »Experience: The Missing Link in Evaluation« beskrev han det paradoksale i, at vi prøver at måle lægers teoretiske viden, som daler i takt med at lægens kliniske erfaring stiger, hvorimod lægens kliniske praktiske færdigheder, som stiger i takt med erfaringen, slet ikke måles. Talrige undersøgelser har vist, at studenter og nyuddannede læger trækker på en teoretisk analytisk viden under det diagnostiske arbejde, hvorimod den erfarne læge har udviklet en enestående evne til at diagnosticere ved at koble studentens teoretiske viden med mange års erfaringer fra klinikken. Det tager i gennemsnit mellem 10 og 20 års praktisk erfaring at udvikle ekspertens færdigheder. De læger, der har længst praktisk erfaring er ganske enkelt de læger, der er bedst til at diagnosticere.

Det kræver raffinerede evalueringsmetoder at registrere ekspertens viden, der ikke umiddelbart lader sig måle af simple måleredskaber og checklister. Evaluatoren skal således anlægge et langt mere holistisk syn på evaluering og kompetencemåling, end vi hidtil har set. På den baggrund afsluttede Geoff Norma nn med en opfordring til deltagerne om at igangsætte en række raffinerede evalueringsprojekter, der bevæger sig bort fra tidligere tiders endeløse forsøg på at måle lægens eksakte teoretiske viden og derved være med til at afdække den lægelige eksperts særlige karakteristika.

Måling af lægens professionelle praksis

Også professor Colin Coles, School of Education, King Alfred's College, Winchester, England, tog i sit oplæg om »The Assessment of Professional Judgement« udgangspunkt i den erfarne læges særlige kompetence og måling af disse.

Colin Coles pointerede, at der er stor forskel på den nyuddannede læges færdigheder og den erfarne læges færdigheder. Det betyder, at der skal anvendes forskellige evalueringsmetoder, når lægers kompetence skal registreres.

Udgangspunktet for Colin Coles er den professionelles særlige evne til at vurdere hvert enkelt sygdomstilfælde i forhold

til lignende eller anderledes sygdomstilfælde. Hvis denne del af lægens arbejde foregik som simpel rutine, kunne en tekniker i princippet udføre opgaven, men det er ikke tilfældet, idet lægens evne til at sygdomsvurdere og diagnosticere bygger på følgende tre elementer:

Professionel praksis
Professionel viden
Professionel læring.

Elementerne danner tilsammen lægens evne til at vide, hvad man skal sige og gøre, og hvad man ikke skal sige og gøre i en given situation, samt lægens evne til at vurdere, hvad der er bedst i situationen og som sådan improvisere i øjeblikket. Den evne kan ifølge Colin Coles ikke læres gennem bøger eller formel undervisning, men udelukkende gennem erfaring i praksis.

Colin Coles konkluderede, at megen evaluering i dag fokuserer på at måle lægens evne til at udnytte de »læringssituationer«, hun har været i. Det betyder, at evalueringen foregår som en simpel registrering af lægens viden ved hjælp af en enten formativ eller summativ evaluering. Men lægens evne til at sygdomsvurdere er ikke en eksakt videnskab, tværtimod er det en meget kompleks proces. Evaluering af denne særlige evne involverer en høj grad af subjektivitet i form af samtaler og et stædigt vedholdende forsøg på at »fange« lægens professionelle praksis.

Mangfoldighed af metoder

De fire eksperter var enige om, at der med det konstant voksende fokus på og krav til læger og deres kompetencer også vil komme et større og større krav om, at lægerne kan dokumentere deres kompetencer. Den ønskede udvikling er, at lægerne selv udvikler metoder til denne dokumentation og ikke venter på, at centrale myndigheder opfinder et evaluerings- eller recertificeringssystem. Det sidste er set i en række andre europæiske lande, og erfaringen viser, at det ikke fungerer. Eksperterne vurderede, at det meget positive fokus, der er på evaluering af lægelige kompetencer i Danmark kan få en afgørende faktor i udviklingen af raffinerede og forskellige evalueringsmetoder. Med dem i hånden vil de danske læger selv kunne dokumentere deres faglige niveau.

Begrebsafklaring
Evaluering og assessment:

Engelsk: Assessment

Dansk: Evaluering af den, der lærer. Kompetencemåling

Engelsk: Evaluation/Evaluering

Dansk: Evaluering af uddannelsesprogram eller uddannelsesforløb

Formativ og summativ evaluering:

Formativ evaluering: En undersøgelse af processen af en bestemt læringssituation, undervisningsforløb.

Summativ evaluering: En undersøgelse af, om de på forhånd fastlagte mål er nået.

Hvilken betydning har evaluering for det lærte - eller med andre ord styrer evaluering det, der skal læres?
Janet Grant:

Læring sker uanfægtet evalueringen. Læring er en kompleks sag med mange ubekendte faktorer. Man kan forsøge at måle det lærte, men der vil altid være en umålelig rest af læringen tilbage.

Geoff Norman:

Uafhængig af evaluering opnår lægen i løbet af karrieren en række kliniske færdigheder, der gør ham til ekspert inden for sit felt. Det betyder, at eksperter udvikles uafhængig samfundets behov for at måle.

Colin Coles:

Den studerendes læring er meget ofte styret af evaluering og de evalueringsmetoder, der benyttes. For eksperten er det ganske anderledes, idet eksperten evne til at diagnosticere er en kompleks proces, der så at sige sker "i øjeblikket" på trods af evaluering, teoretisk viden og praksis.

Cees van der Vleuten:

Evaluering påvirker læringen. Man kan og skal måle det indlærte, det kræver, at evaluator har et klart og tydeligt billede af, hvilke af lægens færdigheder der ønskes målt. Beskrivelse af anvendte evalueringsmetoder skal indgå i curriculum.

Hvad kan evaluering vise? Er resultatet objektivt?
Janet Grant:

Evaluering kan aldrig være objektiv, idet mange elementer i læringssituationen påvirker resultatet.

En evaluering siger som sådan mere om evaluator end det evaluerede stofområde.

Geoff Norman:

Kompetencemåling kan være objektiv. Kompetencemåling viser kun et øjebliksbillede af det evaluerede.

Mange små målinger giver tilsammen et pålideligt helhedsbillede af lægens kompetence.

Colin Coles:

Evaluering er ikke en eksakt videnskab, men en meget kompleks proces. Et pålideligt evalueringsresultat skal indeholde en vis mængde subjektive og kvalitative resultater.

Cees van der Vleuten:

Det er muligt at måle lægens kompetence som værende teoretiske og kliniske færdigheder samt en række »metafærdigheder«.

Vi kan måle de teoretiske og kliniske færdigheder vha. almindelige anerkendte evalueringsmetoder. En måling af metafærdighederne kræver mere deskriptive og kvalitative metoder, som i sit væsen er subjektive metoder.

Hvilken metode/metoder kan anbefales, og kan man anbefale en enkelt?
Janet Grant:

Der er ingen metoder, der er mere velegnede end andre. Metoden skal tilpasses det stofområde, der ønskes evalueret.

Geoff Norman:

Ekspertviden kan ikke registreres af simple måleredskaber og checklister, men af mere raffinerede evalueringsmetoder, hvis ekspertens særlige kompetencer skal evalueres.

Colin Coles:

Metoder til evaluering af den professionelles praksis indebærer en høj grad af subjektivitet, fordi den professionelles praksis ikke er en eksakt videnskab men en kompleks proces, der ikke lader sig indfange gennem objektive måleredskaber.

Cees van der Vleuten:

Der er behov for at udvikle nye evalueringsmetoder for at måle lægens metafærdigheder, der ligger ud over de kliniske og praktiske færdigheder.

Det kræver flere forskellige metoder, hvis alle facetter af en læges færdigheder skal evalueres.