Videooptagelse kan bruges til nemmere og hurtigere evalueringer i uddannelsen af læger i klinisk basisuddannelse

Vurdering og evaluering af yngre læger er obligatorisk i den postgraduate uddannelse. Evalueringerne sker ofte under direkte struktureret observation, hvor en vejleder udfylder et vurderingsskema, men dette er tidskrævende og kan være besværligt, da patient, uddannelsessøgende læge og vejleder(e) skal være til stede på samme tid. Videooptagelse kan være en alternativ fremgangsmåde, der er blevet fundet nyttig ved evaluering af lægestuderende [1] og i uddannelsen af almenmedicinere [2]. Der er påvist god overensstemmelse mellem vurderinger, der er foretaget under direkte observation, og vurderinger, der er baseret på videooptagelser [3]. Ved at optage den uddannelsessøgende læges præstationer kan vejlederen evaluere disse uden at behøve at være til stede under konsultationen. Der kan spares tid ved at spole hurtigt igennem dele af optagelsen, og flere observatører kan anvendes for at minimere de velkendte problemer med interratervariation [4].

Formålet med denne undersøgelse var at vurdere: 1) om videooptagelse af en journaloptagelse var acceptabel for patienten, den uddannelsessøgende og vejledere, 2) om disse vurderinger kunne ske ved at se kortere udsnit af optagelserne samt 3) inter- og intraraterpålidelighed.

METODER

Alle læger, der var i klinisk basisuddannelse og ansat på Geriatrisk Afdeling, Odense Universitetshospital, på undersøgelsestidspunktet, medvirkede (tre kvinder og to mænd). De blev bedt om at foretage en journaloptagelse af en patient og optage den vha. en almindelig computer med webkamera. Seks speciallæger deltog frivilligt som observatører. Alle var erfarne vejledere/observatører af uddannelsessøgende i grundlæggende klinisk uddannelse, men de var ikke blevet specielt uddannet til projektet. Observatørerne gennemså alle fem optagelser på en af tre forudbestemte måder: 1) den fuldstændige optagelse (hver optagelse varede mere end en time), 2) »ad libitum«, dvs. at de fik lov til at spole frem, som de ønskede, og 3) gennemsyn af videoen på 20 minutter, hvilket krævede brug af hurtigt fremadspoling. Ti kompetencer vedr. det primære møde med patienten, opnåelse af anamnese, udførelse af den objektive undersøgelse og information af patienten blev udvalgt fra den officielle målbeskrivelse for klinisk basisuddannelse [5] (Tabel 1). Udførelsen af disse kompetencer blev vurderet som værende »over standard« (3), »standard« (2) eller »under standard« (1) sammen med en global score, hvorefter en gennemsnitlig kompetencescore blev udregnet. Vurderingerne blev ved fornyet videogennemsyn gentaget efter seks uger. Alle deltagere i projektet skulle desuden besvare et spørgeskema (Tabel 2).

Alle patienter, uddannelsessøgende og observatører indgik i projektet på frivillig basis. Alle patienter fik mundtlig og skriftlig orientering og gav informeret samtykke. Ifølge den lokale etiske komite for biomedicinsk forskning var en formel etisk godkendelse ikke nødvendig.

Til statistisk analyse anvendtes PASW, version 19.0; SPSS Inc., Chicago, Illinois, USA. Analyse af varians og t-test blev anvendt til sammenligninger, og pålidelighed blev undersøgt ved at beregne Cronbachs alfa (en p-værdi < 0,05 blev betragtet som signifikant).

RESULTATER

Patienter og observatører accepterede videooptagelserne, mens de uddannelsessøgende var uenige om nytten af optagelserne (Tabel 2). Der var ingen forskel på de fem uddannelsessøgende lægers præstationer, og måden, videoen blev vurderet på, havde ikke indflydelse på antallet af vurderede kompetencer eller den globale score. Den gennemsnitlige kompetencescore blev påvirket af observationsmåden (p = 0,016) med en tendens til, at scorerne var højere i den gruppe, der vurderede videoen »ad libitum«. Der var ingen forskel i global score hos de fem uddannelsessøgende i forhold til observatøren, og i global score var der heller ingen forskel på første og anden bedømmelse. Intraraterpålideligheden var acceptabel med en Cronbachs alfa-score på 0,72, hvorimod interraterpålidelighed var lav med en Cronbachs alfa-score på kun 0,33.

Ud af 600 mulige kompetencevurderinger (ti kompetencer pr. video, fem videoer, seks bedømmere og to gennemsyn pr. observatør) blev 450 foretaget (75%) (Tabel 1). Antallet af vurderede kompetencer var forskelligt observatørerne imellem: én observatør vurderede næsten alle kompetencer, mens en anden kun vurderede ca. halvdelen. De kompetencer, der var fokuseret på direkte observation af en aktivitet, var de hyppigst vurderede, mens der blev vurderet mindre hyppigt på kompetencer med fokus på refleksioner (for eksempel »Overvejelser om behovet for høring af ældre kolleger«) (Tabel 1). Der var ingen forskel i antallet af vurderede kompetencer ved første og andet gennemsyn. Gennemsyn på »ad libitum«-måden tog i gennemsnit 23 minutter i den første runde og 18 minutter i den anden runde (interval: 10-44 minutter).

DISKUSSION

De to vigtigste resultater af denne undersøgelse var: 1) Brug af billig og let tilgængelig teknik til at optage videoer af yngre læger, der udfører anamnese-optagelse og klinisk objektiv undersøgelse, var mulig, og 2) brug af hurtigere gennemsyn påvirkede ikke scorerne og gav dermed mulighed for at spare tid.

Intraraterpålideligheden var acceptabel, men interraterpålideligheden var lav pga. for få undersøgte og utilstrækkelig variation i scorerne. De fleste uddannelsessøgende foretrak direkte observation, men skønnede, at videoobservation var anvendelig, og de var ikke generet af optagelsen (Tabel 2). De deltagendes adfærd i undersøgelsen synes i øvrigt ikke at være påvirket af tilstedeværelse af et kamera [6].

Vi fandt ikke overraskende, at refleksionskompetencerne blev mindre bedømt, da refleksion nærmest er umulig at observere, medmindre lægen taler højt f.eks. for at delagtiggøre patienten i sine overvejelser. Refleksion vurderes langt bedre gennem strukturerede samtaler mellem de uddannelsessøgende og vejlederne, og vi anbefaler, at videoobservationer efterfølges af en diskussion med vejlederen, eventuelt med brug af videooptagelsen som en hjælp i samtalen.

Det lille antal uddannelsessøgende og videoer var en væsentlig begrænsning i undersøgelsen.

KONKLUSION

Vi fandt, at vurdering af færdigheder på ba ggrund af videooptagelser var et realistisk alternativ til direkte observation, og anbefaler, at metoden afprøves i større studier. Evner til at opnå en anamnese og foretage en objektiv undersøgelse kunne let vurderes, mens refleksive færdigheder var nærmest umulige at vurdere.

KORRESPONDANCE: Jens-Ulrik Rosholm, Geriatrisk Afdeling G, Odense Universitetshospital, Sdr. Boulevard 29, 5000 Odense C. E-mail: jens-ulrik.rosholm@ouh.regionsyddanmark.dk

ANTAGET: 18. december 2012

FØRST PÅ NETTET: 25. marts 2013

INTERESSEKONFLIKTER:

Hent pdf

TAKSIGELSE: K.P. Olsen, S. Kash, R. Bliucukiene, R. Brattaule, A. Tarulis og L. Larsen takkes for deres deltagelse som vejledere/observatører.

src="/LF/images_ufl/ufl_graa.gif">

1. Edelstein DR, Ruder HJ. Assessment of clinical skills using videotapes of the complete medical interview and physical examination. Med Teach 1990;12:155-62.

2. Campbell LM, Howie JG, Murray TS. Use of videotaped consultations in summative assessment of trainees in general practice. Br J Gen Pract 1995;45:137-41.

3. Sturpe DA, Huynh D, Haines ST. Scoring objective structured clinical examinations using video monitors or video recordings. Am J Pharm Educ 2010;74:44.

4. Kalet A, Earp JA, Kowlowitz V. How well do faculty evaluate the interviewing skills of medical students? J Gen Intern Med 1992;7:499-505.

5. www.sst.dk (26. okt 2008).

6. Overeem K, Faber MJ, Arah OA et al. Doctor performance assessment in daily practise: does it help doctors or not? Med Educ 2007;41:1039-49.