Skip to main content

Multiple miniinterview før besættelse af pædiatriske hoveduddannelsesstillinger er gennemførlige

Niels Thomas Hertel1, Mia Bjerager2, Malene Boas3, Kirsten A. Boisen3, Klaus Børch4, Marianne Sjølin Frederiksen5, Kirsten Holm2, Anette Grum-Nymann6, Martin M. Johnsen7, Stine Whitehouse8 & Thomas Balslev9

9. sep. 2013
9 min.

Fra 2009 blev ansættelsessamtaler før besættelse af hoveduddannelsesstillinger obligatoriske.

Ansættelsessamtaler kan foregå på forskellige måder. Multiple miniinterview (MMI) er en struktureret interviewform, der er baseret på flere stationer og er designet til at teste nonkognitive kompetencer, herunder kommunikationsfærdigheder, formuleringsevne, klinisk ræsonneringsevne og professionalisme [1]. Hvis man ønsker et komplet billede af en ansøgers kompetencer og potentiale, kan ingen test stå alene [2]. Vi kombinerede bedømmelse af curriculum vitae (CV) med MMI. I denne artikel evalueres to års anvendelse af national MMI i pædiatri i Danmark.

Validiteten ved MMI er fundet acceptabel [3], og yngre læger, der er blevet udvalgt efter et MMI, fik bedre klinisk evaluering tre måneder senere, end læger, der var blevet udvalgt efter et traditionelt interview [4]. Pålideligheden er en styrke ved MMI, som består af flere stationer [1]. Ved MMI bliver alle ansøgere præsenteret for de samme udsagn. Antallet af stationer har normalt større betydning end antallet af bedømmere på hver station.

Resultaterne af udenlandsk litteratur tyder på, at MMI er en fair metode til udvælgelse af kandidater til pædiatrisk speciallægeuddannelse [5].

En test skal være praktisk og økonomisk gennemførlig. Samarbejde mellem flere organisationer kan være en fordel, for eksempel ved at man kan opbygge en bank af testmateriale, men et sådant samarbejde kan også udgøre en barriere [2]. Det er påvist, at MMI betyder ekstra tid til forberedelse af interviewmateriale, og at der er behov for flere lokaler end ved traditionelle interview, men at dette ophæves af et mindre behov for personaletimer [6].

Det er en almindeligt udbredt antagelse, at testning er en stærkt motiverende faktor for yngre lægers læringsadfærd, selvom kun begrænset empirisk forskning viser, at testning styrer læring [7]. Imidlertid kan testens indhold og form påvirke læringen. Ansøgere kan for eksempel vælge at forberede sig på emner, som er udgivet som hjælp til forberedelse, eller som er brugt ved tidligere udgaver af testen [2].

I denne artikel beskriver vi erfaringer og fund ved fire nationale ansættelsesrunder, hvor der er anvendt MMI.

MATERIALE OG METODER

Opgaverne tog udgangspunkt i specialets faglige profil. Vi valgte at bruge initialt fire og senere fem stationer for at forsøge at opnå tilstrækkelig validitet.

Der var tre interviewere på hver station for at have et relativt højt antal vurderinger pr. station og for at have en repræsentant fra hver videreuddannelsesregion til stede ved hvert miniinterview.

Vi involverede yngre læger, speciallæger, repræsentanter for Dansk Pædiatrisk Selskab samt videreuddannelsessekretariaterne for at opnå bred accept. Vi valgte i testperioden at investere tid og resurser i at afholde en national workshop og et nationalt MMI, for at træningen af interviewerne skulle blive ensartet, og for at vi kunne opbygge en bank af testmateriale.

Ansøgere og interviewere fik skriftlig information på forhånd og mundtlig information umiddelbart før MMI. Interviewene foregik over én dag i Odense for at mindske tidsforbruget og udgifterne til rejser.

En opgave (fremlæggelse af en case til diskussion i en gruppe af studenter og læger) blev offentliggjort på forhånd. Denne opgave, som gentog sig ved alle MMI’er, krævede forberedelse. Casen blev foreslået forberedt efter en kendt model [8]. Hermed ønskede vi at påvirke ansøgerne, så de i deres hverdag ville øve sig i at fremlægge cases på en effektiv måde.

Ansættelsesudvalgene fra hver videreuddannelsesregion fik umiddelbart efter MMI’en en opgørelse med den samlede bedømmelse af deres ansøgere.

CV blev bedømt ud fra seks af speciallægens syv roller. Professionalisme blev ikke vurderet til at kunne bedømmes på CV. Derudover blev ansøgerne bedømt på målrettethed. I det første MMI var der fire stationer, i de næste tre MMI’er var der fem. Scorer ved de tre sidste MMI’er blev korrigeret for den ekstra station (totalscore for MMI blev ganget med 0,8). Der var afsat 8 min til hver station, inkl. 1 min til læsning af opgaven og 1 min til votering. Der var indlagt korte pauser mellem hver sektion a fem interview.

Ansøgerne og interviewerne besvarede efter MMI et spørgeskema om deres opfattelse af MMI-forløbet. Der blev anvendt en sekstrins Likertskala (0-5 (0 = helt uenig, 5 = helt enig)) til svar på udsagnene. Udsagnene fremgår af Tabel 1. På spørgeskemaet var der også plads til kommentarer.

Data blev behandlet i IBM SPSS Statistics 19.0. Der blev anvendt reliability analysis med bestemmelse af Cronbachs alfa. Vha. Cronbachs alfa tester man pålideligheden eller den interne konsistens ved MMI. Generaliserbarheden af MMI-testen blev bedømt ved G-teori-analyse. En G-koefficient på omkring 0,8 anses som ønskværdig. Til bestemmelse af G-koefficient og »D-studie«, hvor der estimeres det antal stationer eller bedømmere, der skal til for at opnå en ønsket pålidelighed (G-koefficient) ud fra de givne tal, anvendtes programmet Genova for PC [9].

RESULTATER

MMI blev afviklet i fire omgange. I alt 125 ansøgere deltog i MMI’erne (enkelte flere gange). I de fire MMI’er indgik der hhv. 36, 30, 34 og 25 ansøgere. Der var flest ansøgere fra Uddannelsesregion Øst i alle fire test. Der var 14-16 stillinger til besættelse ved hver MMI. Der var ingen signifikant forskel imellem CV-scorer og MMI-scorer over tid (data ikke vist). Der var kun korrelation mellem CV og MMI ved en enkelt session.

Pålidelighed

Cronbachs alfa var ved første MMI 0,78 og blev forbedret de næste to gange til 0,92 ved MMI i januar 2010. Ved det sidste MMI i juni 2010 faldt Cronbachs alfa til 0,63. For de enkelte stationer har Cronbachs alfa hele tiden ligget på et pænt niveau og var ikke ringere i 2010 end ved start (Tabel 2).

G-koefficienten lå initialt relativt lav på 0,46 og faldt yderligere ved andet MMI, men blev igen bedre ved det næstsidste MMI. Ved det sidste MMI faldt værdien imidlertid markant igen (Tabel 2).

Sammenhængen mellem antallet af stationer og G-koefficienten i relation til antallet af bedømmere ud fra resultaterne af MMI i juni 2009 fremgår af Figur 1. For at opnå en acceptabel G-koefficient ud fra testresultaterne skal man have over 15 stationer, og man opnår kun marginalt mere ved at øge antallet af stationer i stedet for at øge antallet af bedømmere.

Acceptabilitet

Spørgeskemaundersøgelsen med ansøgerne viste en generel stor accept af proceduren (Tabel 1). Der var ingen signifikante ændringer i accepten fra 2008 til 2010. Ansøgerne gav lavest score til udsagnet: »MMI gav mulighed for at vise hvad jeg kan«. Interviewerne var generelt tilfredse med forløbet (data ikke vist). Her var der ligeledes lav tro på, at MMI kunne forudsige ansøgerens senere funktion i en børneafdeling.

Gennemførlighed

Hver bedømmer brugte ca. en arbejdsdag på opgaven. Det var et større logistisk arbejde at skaffe lokaler, forplejning, udsagn, scoreskemaer til standene samt sekretærbistand til at bearbejde data til brug for ansættelsesudvalgene. Ansættelsesudvalgene mødtes lige efter MMI, og man kunne derefter kontakte de ansøgere, der havde fået en stilling. Vi gjorde det enkelt at gennemføre MMI ved hjælp af en database med opgaver og en tjekliste til fordeling af logistiske opgaver.

DISKUSSION

MMI var gennemførlige, og der var god accept fra både ansøgere og bedømmere. Derimod var pålideligheden ved vores udgave af et pædiatrisk MMI ikke på højde med den pålidelighed ved MMI, der er beskrevet i internationale artikler [10].

Et væsentligt element ved ansættelsesprocedurer med test er, at man vha. testen måler relevante faktorer. Opgavernes indhold blev derfor lagt så tæt som muligt op ad dagligdags situationer. Indholdet af opgaverne svarede til den faglige profil for pædiatri. Ansøgere og bedømmere opfattede opgaverne som relevante og realistiske. Der var svag eller ingen korrelation mellem scorer for CV og MMI. Det tyder på, at man med de to metoder tester forskellige ting, og at de dermed kan supplere hinanden. En kombineret metode, hvor delelementerne har forskellige styrker og svagheder og hver for sig er valgt på et rationelt grundlag, er ønskelig [2]. Kun en eventuel followupundersøgelse vil kunne vise, om ansøgere i Danmark med høje CV-scorer eller MMI-scorer vil klare sig bedst fremover (prædiktiv validitet), som det er vist i nogle studier [4, 10].

Bedømt ved Cronbachs alfa var pålideligheden for de enkelte stationer stabil og høj. Det samlede billede var mere heterogent, da vi fandt en relativt lav G-koefficient. Birminghamgruppen fandt i deres første studie en G-koefficient på over 0,80 [1], men senere MMI’er viste lavere værdier. Vi designede stationerne for at teste forskellige kompetencer. Den lave G-koefficient tyder muligvis på, at vi målte forskellige kompetencer ved de enkelte stationer. G-koefficienten forblev upåvirket lav, selv om vi øgede sværhedsgraden og antallet af opgaver. En anden mulighed er, at danske ansøgere er mere homogene (og at der dermed er mindre variation) end de ansøgere, man finder i et engelsk eller amerikansk ansøgerfelt. Vores resultater tyder derfor på, at der er behov for sværere opgaver og flere stationer samt en bedre træning af bedømmerne. Flere bedømmere vil udløse et øget resurseforbrug og gøre MMI mindre gennemførligt. Specielt hvis man, ud fra vores data, skal optimere G-koefficienten.

Både ansøgerne og bedømmerne fandt, at MMI var en acceptabel procedure. I flere andre publikationer har man fundet tilsvarende acceptabilitet [5]. Ved at anvende MMI kan der også være fordele i form af lav risiko for bias og bedre validitet i forhold til traditionelle interviewformer . MMI var gennemførlig, men var i vores initialudgave forbundet med øgede omkostninger i form af tid og mandskab i forhold til den tidligere ansættelsesprocedure. Vores og andres erfaringer tyder på, at resurseforbruget til MMI kan falde, hvis man udvikler retningslinjer for gennemførelse, herunder opretter en database med opgaver og scoreark.

KONKLUSION

De danske erfaringer med MMI i pædiatri viser, at metoden er gennemførlig og findes acceptabel. Pålideligheden for de enkelte stationer er stabil og høj. Den samlede pålidelighed, bedømt ved G-teori, er lavere og tyder på, at et spektrum af forskellige kompetencer testes, men kan også være udtryk for et homogent ansøgerfelt. Pålideligheden kan øges ved at indføre sværere opgaver og flere stationer.

KORRESPONDANCE: Niels Thomas Hertel, H.C. Andersen Børnehospital, Odense Universitetshospital, Sdr. Boulevard 29, 5000 Odense C.
E-mail: thomas.hertel@rsyd.dk

ANTAGET: 7. marts 2013

FØRST PÅ NETTET: 13. maj 2013

INTERESSEKONFLIKTER:
En fuldstændig litteraturliste kan fås ved henvendelse til forfatteren.

Summary

Multiple mini interviews before the occupation of main training posts in paediatrics

Referencer

LITTERATUR

  1. Goodyear HM, Jyothish D, Diwakar V et al. Reliability of a regional junior doctor recruitment process. Med Teach 2007;29:504-6.

  2. Schuwirth LWT, van der Vleuten CPM. How to design a useful test: the principles of assessment. I: Swanwick T, red. Understanding medical education: evidence, theory and practice. Oxford: Wiley-Blackwell, 2010.

  3. Patterson F, Ferguson E, Norfolk T et al. A new selection system to recruit general practice registrars: preliminary findings from a validation study. BMJ 2005;330:711-4.

  4. Bindal T, Wall D, Goodyear HM. Performance of paediatric Senior House
    Officers following changes in recruitment. Med Teach 2007;29:501-3.

  5. Humphrey S, Dowson S, Wall D et al. Multiple mini-interviews: opinions of candidates and interviewers. Med Educ 2008;42:207-13.

  6. Rosenfeld JM, Reiter HI, Trinh K et al. A cost efficiency comparison between the multiple mini-interview and traditional admissions interviews. Adv Health Sci Educ Theory Pract 2008;13:43-58.

  7. Kromann C, Koefoed M, Jensen M et al. Test af viden og færdigheder øger indlæring. Ugeskr Læger 2012;174:716-9.

  8. Uddannelsesudvalg, Dansk Pædiatrisk Selskab. Dagens case. www.paediatri.dk/udd_inspiration/inspiration-til-uddannelsestiltag.htm (1. jan 2012).

  9. Brennan RL. GENOVA for PC 2001. www.education.uiowa.edu/casma/GenovaPrograms.htm (31. mar 2011).

  10. Eva KW, Reiter HI, Trinh K et al. Predictive validity of the multiple mini-interview for selecting medical trainees. Med Educ 2009;43:767-75.