Uddannelsessøgende lægers tilegnelse af teoretisk viden på en kirurgisk afdeling

Introduktion: Der eksisterer ingen formaliseret evaluering af yngre lægers teoretiske viden under speciallægeuddannelsen. Formålet med denne undersøgelse var at se, hvorvidt den teoretiske viden øges hos uddannelsessøgende læger under ansættelse på en kirurgisk afdeling.

Materiale og metoder: Treogtyve yngre læger blev præsenteret for samme sæt multiple-choice-opgaver med specialerelevante spørgsmål ved ansættelsesstart og ca. et halvt år efter. Herefter blev de udspurgt om deres syn på formaliseret anvendelse af multiple-choice-opgaver og teoretisk eksamen som led i speciallægeuddannelsen i kirurgi.

Resultater: Der var signifikant højere pointscore anden gang, deltagerne skulle løse opgavesættet (p = 0,0003). Ved opdeling af deltagerne i to grupper, unge yngre læger og ældre yngre læger, sås, at ældre yngre læger generelt scorede flere point, men at unge yngre læger havde en relativt større stigning (p = 0,038). Fyrre procent af alle lægerne mente, at multiple-choice-opgaverne havde motiveret dem til yderligere selvstudium, og halvdelen bifaldt indførelse af en teoretisk eksamen.

Diskussion: Den teoretiske viden hos yngre læger øges i løbet af relativ kort tid under ansættelse på en kirurgisk
afdeling. Ældre yngre læger har som forventet en større specialefaglig viden end unge yngre læger, hvorimod sidstnævntes viden øges relativt mere inden for samme tidsrum. Der er behov for flere redskaber til vurdering af yngre lægers delkompetencer som led i en forbedring af den lægelige postgraduate videreuddannelse. I den sammenhæng er multiple-choice-opgaver et lettilgængeligt redskab til såvel stimulering som evaluering af tilegnelse af teoretisk viden under det enkelte ansættelsesforløb.

Hidtil har den formelle teoretiske uddannelse for læger, der var ansat i undervisnings- og 1. reservelægestillinger været koncentreret om kursusdeltagelse. I betænkningen fra Speciallægekommissionen »Fremtidens speciallæge« anbefaler man, at den teoretiske uddannelse integreres i og gennemgås sideløbende med den kliniske uddannelse, og at begrebet teoretisk uddannelse anvendes meget bredt omfattende alle de uddannelsesaktiviteter, der ikke indgår i den egentlige kliniske uddannelse, herunder indlæring af teoretisk viden (1). Evaluering af de enkelte uddannelseselementer har siden 1998 været baseret på Sundhedsstyrelsens publikation »Vejledning og evaluering i den lægelige videreuddannelse« og bygger på evalueringssamtaler mellem den uddannelsessøgende læge og dennes tutor (2). Vejledersystemet fungerer imidlertid ikke tilfredsstillende. I knap en tredjedel af inspektorordningens rapporter rejses der alvorlig kritik af evalueringssystemet (3), og FAYL's seneste uddannelsesenquete viser, at over en fjerdedel af alle yngre læger finder, at det formelle uddannelsesprogram kun anvendes i ringe grad eller slet ikke (4).

Vi har undersøgt, om uddannelsessøgende læger øgede deres teoretiske viden under ansættelse på en kirurgisk afdeling. Formålet var ikke at evaluere den enkelte læge, men at få et indtryk af, om afdelingen generelt kunne bibringe lægerne en øget paratviden under deres ophold på afdelingen. Som mål herfor blev der benyttet en art progressionstest i form af multiple-choice (MC)-opgaver. MC-opgaver har stor pålidelighed og er velegnede til at teste viden, mens de er mindre egnede til at teste lægers brede spektrum af øvrige kliniske delkompetencer (5). Der findes imidlertid en lang række andre metoder til måling af disse (6).

Materiale og metoder
MC-spørgsmål

Alle læger på kirurgisk gastroenterologisk afdeling K, H:S Bispebjerg Hospital blev bedt om at udarbejde en række MC-opgaver. Den enkelte læge udfærdigede spørgsmål, der i sværhedsgrad var rettet mod et tidligere uddannelsestrin, dvs. afdelingslæger lavede spørgsmål til fase III-læger, fase III-læger lavede spørgsmål til læger i uddannelsesstilling osv. I alt blev der udarbejdet 260 opgaver med hver 3-5 svarmuligheder. Afdelingens overlæger udvalgte derefter de 108 bedst egnede opgaver og definerede samtidig de korrekte svar. Syvogtyve nyansatte uddannelsessøgende læger blev præsenteret for opgavesættet umiddelbart efter ansættelsen og igen efter ca. et halvt år. Deltagerne måtte ikke på noget tidspunkt benytte nogen hjælpemidler under besvarelsen af opgaverne. MC-opgaverne omhandlede emner som sygdomsprævalens og -incidens, symptomer, kliniske og parakliniske fund, stadieinddeling, prognose, præoperativ forberedelse, komplikationsrater mv. vedrørende det mave- og tarmkirurgiske speciale. Nogle af de 108 spørgsmål kunne have flere rigtige svar, således at det maksimale antal rigtige svar (point) nåede op på i alt 123. De rigtige svar blev hele tiden hemmeligholdt for deltagerne, og de fik kun oplyst pointscoren, således at afdelingen kunne genanvende opgavesættet til andre læger. Under opgørelse af resultaterne blev deltagerne opdelt i to grupper: unge yngre læger (UYL), der bestod af læger i turnus- og introduktionsstilling, og ældre yngre læger (ÆYL), der bestod af læger i uddannelsesstilling, fase III-læger i almen kirurgi og fase III-læger i kirurgisk gastroenterologi.

Sidespørgsmål

Efter at have besvaret MC-opgavesættet for anden gang skulle deltagerne endvidere svare på, om opgaverne havde motiveret dem til øget selvstudium, omfanget af dette, og om de fandt testen hensigtsmæssig. Endelig skulle de angive, om der efter deres mening burde være en eller anden form for systematisk evaluering (eksamen) af uddannelsessøgende lægers teoretiske viden som fast bestanddel i speciallægeuddannelsen i kirurgi. De enkelte deltageres opnåede pointscore og svar på sidespørgsmål blev behandlet fortroligt, således at kun denne artikels forfattere var bekendte med resultaterne.

Statistik

Antallet af rigtige svar blev behandlet som en kvantitativ diskontinuer variabel, der kunne antage værdier mellem 0 og 123. Alle kvantitative variable blev testet for, om forudsætningerne for anvendelse af parametriske signifikanstest var til stede (Shapiro-Wilks-test for normalfordeling og Levenes-test for varianshomogenitet) (7, 8). Dette var ikke tilfældet, hvorfor analyser af parrede og uparrede data samt korrelationsanalyser derfor blev foretaget med ikkeparametrisk signifikanstest. Signifikansniveauet blev sat til 0,05. Alle beregninger blev foretaget ved hjælp af statistisk software, og alle observerede p-værdier var tosidige.

Resul tater
Multiple-choice-spørgsmål

Fire ud af 27 deltagere fik ikke gennemført MC-opgaverne i anden omgang (besvarelsesprocent: 85). Der gik 4-11 måneder mellem løsningen af opgaverne. For alle læger var medianen for antallet af rigtige svar ved første testforsøg 71 point (spændvidde 62-97) og ved andet forsøg 83 point (spændvidde 64-102) (Tabel 1 og Fig. 1 ). Middelværdien for forskel i pointscoren mellem de to runder var for alle læger 7,1 point (Wilcoxons test: p = 0,0003). Ved opdeling af de yngre læger i UYL (n = 10) og ÆYL (n = 13) sås, at ÆYL indledningsvis scorede flest point (Mann-Whitney-test: p = 0,007). For ÆYL var medianen for antal rigtige svar første gang på 88 point (spændvidde 62-97) og anden gang på 90 point (spændvidde 74-98). Medianen for difference i antal rigtige svar var 5 point (spændvidde -5-14). For UYL var medianen for antal rigtige svar ved første gang 67 point (spændvidde 63-74) og anden gang 74,5 point (spændvidde 64-102) med en median for difference i antal rigtige svar på 8,5 point (spændvidde 0-31). Øgningen i antallet af rigtige svar mellem de to opgaverunder var mest markant hos UYL (Fig. 1) med en relativ stigning i middelværdi på 16% i point i forhold til 6% for ÆYL (Mann-Whitney-test: p = 0,038).

Selvstudium

To deltagere havde ikke angivet omfanget af selvstudium. Resten angav at have studeret med en median på seks timer per uge i den periode, der gik mellem de to prøver (Tabel 1). Der var ingen signifikant lineær korrelation mellem den samlede tid, der var brugt på selvstudium, og øgningen af rigtige svar (Spearmans rs = -0,3; p = 0,18).

Sidespørgsmål

En deltager svarede ikke på spørgsmålene om teoretisk eksamen. Omkring 40% af deltagerne mente, at testen havde motiveret dem til yderligere selvstudium på såvel afdelingen som hjemme. Ingen læger syntes, at MC-prøven havde været overflødig, og halvdelen af alle deltagere bifaldt indførelse af en teoretisk eksamen (UYL = 40%, ÆYL = 58%) (Tabel 2 ).

Diskussion

Vi har ønsket at undersøge, om uddannelsessøgende lægers teoretiske viden øges under ansættelse på en kirurgisk afdeling. Som måleinstrument herfor blev anvendt et sæt MC-opgaver, som deltagerne løste ved ansættelsen på afdelingen og igen efter ca. et halvt år. Der blev observeret en signifikant højere pointscore ved den anden testrunde. På grund af antallet af spørgsmål, og da de rigtige svar blev hemmeligholdt for deltagerne, mener vi ikke, at stigningen kan skyldes, at deltagerne skulle løse samme opgavesæt to gange, men at stigningen derimod afspejler en reel tilgang af teoretisk kirurgisk viden. Endvidere blev denne viden øget i løbet af en relativt kort periode under ansættelsen. Som forventet havde ÆYL en større specialerelateret teoretisk viden end UYL, men derimod viste det sig, at UYL øgede deres viden relativt mere end ÆYL (Fig. 1). En forklaring på dette kunne være, at det vil være sværere at øge antallet af point ved den anden prøve, jo højere score, der er opnået ved den første.

Mod forventning var der ingen sammenhæng mellem tilegnelsen af teoretisk viden og omfanget af selvstudium. Oplysningerne om anvendt tid til selvstudium i perioden mellem de to prøver blev imidlertid baseret på deltagernes erindring og må derfor være behæftet med betydelig usikkerhed (jf. de meget høje angivelser på gennemsnitlig seks timers selvstudium per uge).

Halvdelen af deltagerne var positive over for en afsluttende teoretisk specialisteksamen i kirurgi. Denne indstilling var mest udtalt blandt ÆYL, som i deres karriereforløb befandt sig tættere på afslutningen af speciallægeuddannelsen.

Problemstillingen omkring yngre lægers kirurgiske uddannelse og kompetenceudvikling har løbende været til debat (9-12), og der synes at være behov for flere redskaber til evaluering af kompetenceudviklingen som led i forbedring af den postgraduate videreuddannelse. Teoretiske kurser har i mange år været en fast del af videreuddannelsen til speciallæge i Danmark, men på nuværende tidspunkt er der dog ingen egentlig formaliseret færdighedsprøve. I forbindelse med afholdelse af A-kurser i kolorektal cancer blev den samme MC-opgave fem gange anvendt som selvtest af kursisterne ved kursusstart. Der blev afholdt tentamen to af gangene, og det viste sig, at når kursisterne var blevet »truet« med tentamen, havde de brugt mere tid til forberedelse før kurset (13).

Især i de angelsaksiske lande er der udviklet en række forskellige metoder til bedømmelse af kirurgers teoretiske og kliniske kompetencer. Som eksempler kan nævnes The American Board of Surgery In-Traning Examination (ABSITE), et MC-opgavesystem, som har vist sig at have stor pålidelighed til at måle faglig kirurgisk viden og især huller i denne (14, 15), men som til gengæld ikke kan sige noget om kirurgens operative færdigheder (16). Disse kan imidlertid vurderes direkte under andre veldefinerede kriterier (15). Korrekt udførelse af en operation kræver imidlertid et samspil mellem teoretisk viden, teknisk håndelag og kirurgisk dømmekraft. Såkaldt intraoperativ global vurdering kan måle alle disse tre egenskaber på en gang, men den er kostbar og tidskrævende.

I Danmark anvendes der for kirurger i stedet for hovedsagelig operations- og checklister, der imidlertid mere er en opsummering af den erhvervede erfaring end et bevis for opnået kompetence. Tilegnelse af teoretisk viden bliver således ikke rutinemæssigt evalueret. MC-opgaver udgør i den sammenhæng et forholdsvis nemt og billigt redskab, som er velegnet til såvel stimulering som evaluering af de uddannelsessøgende lægers tilegnelse af en sådan viden under det enkelte ansættelsesforløb.

Summary

Junior doctors' acquisition of theoretical knowledge
at a surgical department. Evaluation in the form of multiple-choice tests.

Ugeskr Læger 2003; 165: 229-32.

Introduction: Denmark has no tradition of formal assessment of junior doctors' theoretical knowledge. We therefore wanted to investigate whether the knowledge of surgical junior doctors has actually increased.

Material and methods: Twenty-three junior doctors were confronted with the same multiple-choice questionnaires twice during a six months period. Subsequently, they were asked whether they would approve the implementation of multiple-choice questionnaires and formal assessment (exam) in the Danish specialist training in surgery.

Results: The participants got a significantly higher score the second time they were confronted with the multiple-choice questionnaires (p = 0.0003). When dividing the participants into two groups, viz. young vs. old junior doctors, it was observed that the latter group had a higher score overall but augmented their scores less in relation to their young colleagues (p = 0.038). Forty percent of the participants replied that the multiple-choice questionnaires had motivated them to do further theoretical studies, and half of them approved the introduction of an exam in surgery in the Danish specialist training.

Discussion: The theoretical knowledge of junior doctors does actually increase in a re latively short period of time during their employment at a department of surgery. As expected the old junior doctors got a higher score compared to their young colleagues. However, the latter group augments its knowledge relatively more. Multiple-choice questionnaires are easy, accessible, and inexpensive tools for evaluation as well as stimulation for doing further theroretical studies.

Roberto S. Oliveri, klinisk biokemisk afdeling KB 3011, H:S Rigshospitalet, DK-2100 København Ø.
E-mail: oliveri@rh.dk

Antaget den 3. oktober 2002.

H:S Bispebjerg Hospital, kirurgisk gastroenterologisk afdeling K.