Usaglig kritik af LUP

Ugeskrift for Læger nr. [XX – indsæt reference] indeholder to artikler, som kritiserer Den Landsdækkende Undersøgelse af Patientoplevelsers (LUP) videnskabelige metodik og udvalgte spørgsmål i undersøgelsen. Der er en række faktuelle fejl i artiklen og påstande uden belæg – påstande der mere handler om forfatternes holdning end om undersøgelsens videnskabelighed. Vi vil her kommentere på nogle af påstandene.

Forfatterne peger indledningsvist på, at svarene fra LUP anvendes til at overvåge den patientoplevede kvalitet i forhold til de generelle patientforløbsstandarder i DDKM. Det er ikke korrekt. I DDKM version 2., som blev udgivet august 2012, og som har været gældende ved eksterne surveys pr. 1. januar 2013 indgår LUP i standard 1.2.11 - Inddragelse af patienter og pårørendes oplevelser og erfaringer . Dette er en af de organisatoriske standarder, der foreskriver, at sygehusene systematisk skal indsamle oplysninger om patienter og pårørendes oplevelser og erfaringer med sygehuset og bruge denne information til at udvikle kvaliteten af sygehusets ydelser. Foruden deltagelse i LUP skal der foreligge planer for, hvordan sygehusene ellers inddrager patienters og pårørendes erfaringer i kvalitetsforbedringsarbejdet.

Derudover nævner forfatterne, at LUP-resultater siden 2008 har indgået i scoringen af regioners, hospitalers og afdelingers præstationer på Sundhedskvalitet.dk. Det er korrekt, at resultaterne tidligere indgik i beregningerne af de enkelte sygehuses stjerner, men det gør de ikke længere .

Som artiklen beskriver, så er det LUP’s formål at identificere forskelle i patienters oplevelser indenfor udvalgte temaer, med mulighed for at følge en udvikling over tid, så patienternes oplevelser kan fungere som input til det kvalitetsforbedrende arbejde. Vi mener, at LUP opfylder dette formål og får mange tilbagemeldinger fra afdelinger, der anvender resultaterne til kvalitetsudvikling. LUP leverer systematisk indsamlet feedback fra patienterne, som gør det muligt for kliniske afdelinger at blive klogere på, hvordan deres patienter oplever og vurderer den måde, de bliver modtaget på, kommunikeret med og inddraget mm. LUPs berettigelse skal blandt andet forstås ud fra et ønske om et flersidet fokus på kvalitet, hvor patientens stemme spiller ind i samspil med kliniske og organisatoriske data.

Resultaterne af LUP offentliggøres bl.a., for at politikere og ledere kan følge med i den patientoplevede kvalitet og gribe ind, hvis de ikke finder resultaterne tilfredsstillende. Derudover kan offentliggørelsen medvirke til at skabe incitamenter til forbedringer , fordi de fleste ansatte på hospitalerne selvfølgelig gerne vil have, at deres afdeling har gode resultater. Det er dog samtidig vigtigt at understrege, at LUP i samspil med DDKM efterlader et stort lokalt råderum for, hvilke resultater, der skal følges op på og hvordan, der skal følges op. En af udfordringerne med en undersøgelse, hvor det samme spørgeskema skal besvares af patienter uanset diagnose og indlæggelsestid, er, at spørgsmålene bliver forholdsvis overordnede. Resultaterne kan derfor pege på nogle indsatsområder, men vi anbefaler, at resultaterne kvalificeres i en dialog med patienter. Nogle afdelinger vælger at drøfte resultaterne i et brugerråd eller på et feedbackmøde med tidligere patienter, men det kan også gøres helt enkelt ved at tale med patienter, der er i afdelingen.

Artiklen beskriver, at budgettet for LUP er ca. 10 mio. dkr. Budgettet er 8 mio. dkr. Det svarer til en pris pr. afdelingsrapport på ca. 10.000 kr., hvilket ikke rækker langt, hvis der skulle gennemføres specfikke lokale undersøgelser. Af de 10.000 kr. er ca. halvdelen udgifter forbundet med tryk og indscanning af spørgeskemaer samt porto til forsendelse. Med i regnestykket skal indtænkes, at indsamlingen af patienternes feedback ikke afkræver en indsats fra det kliniske personale, og derfor ikke tager tid fra patienterne. Afdelingerne skal naturligvis bruge ressourcer på forbedringsarbejdet, hvis undersøgelsen viser, at der er områder med kvalitetsbrist.

Kritik af spørgsmål i LUP

Artiklen retter en kritik mod flere af spørgsmålene i LUP, og vi vil i det følgende forsøge at besvare kritikken af de specifikke spørgsmål – en for en.

Spørgsmål om inddragelse

To spørgsmål i LUP spørger ind til i hvilket omfang hhv. patient og pårørende er blevet inddraget i beslutninger om behandlingen. Spørgsmålene kritiseres for, at de ikke tager hensyn til, om det overhovedet har været relevant for patienten, og her er der igen behov for en præcisering. I spørgsmålet vedrørende inddragelse af pårørende er der mulighed for at svare ”ikke aktuelt for mig” foruden svarmulighederne ”For meget”, ”Passende”, ”For lidt”. I forhold til spørgsmålet vedrørende inddragelse af patienten selv er der ligeledes mulighed for at svare ”For meget”, ”Passende”, ”For lidt”. Her har vi vurderet, at det altid er relevant at inddrage patienten, og at svarkategorierne fint dækker behovet. I den omfattede valideringsproces, hvor mere end 100 patienter er blevet interviewet om spørgeskemaet, har svarkategorierne ikke givet anledning til problemer for patienterne.

Spørgsmål om fejl

Artiklen retter ydermere en kritik mod spørgsmålet om patienternes oplevelse af fejl, og afrapportering af spørgsmålet. Spørgsmålet blev ændret ved dataindsamlingen i 2010 (i forhold til 2009), og det blev anført i den nationale rapport, at læseren skulle være opmærksom på denne ændring i forhold til sammenligning over tid: ”Den væsentlige ændring i spørgsmålsformuleringen betyder, at resultaterne ikke kan sammenlignes med 2009, da det ikke er de samme spørgsmål, patienterne har svaret på.” . Heller ikke i rapporterne til de enkelte afdelinger blev spørgsmålet sammenlignet over tid . Trods dette tydelige forbehold mod at sammenligne resultaterne af fejlspørgsmålet fra undersøgelserne i hhv. 2009 og 2010, foretager forfatterne af artiklen en sammenligning. De når frem til, at der er sket et fald i antal fejl og skriver på den baggrund: ”En oplagt konklusion er, at hospitalssektoren er blevet bedre til at undgå fejl.” Denne konklusion må udelukkende stå for forfatternes egen regning. Det er ikke en konklusion, der på nogen måde kan genfindes i LUP-rapporter eller en videnskabelig metode, som vi kan stå inde for.

I det efterfølgende år – 2011 – blev resultaterne for 2011 sammenlignet med resultaterne for 2010. Spørgsmålet i de to år var enslydende. EfB refererede derfor ikke længere til, at de to spørgsmål var usammenlignelige ml. 2009 og 2010. At noten ikke længere var anført i afdelingsrapporten, skyldtes først og fremmest, at afdelingsrapporterne kun indeholder sammenligninger over tid med forrige års resultat – altså her sammenligningen ml. 2011 og 2010. Hvis en læser vil se tidligere års resultater, er vedkommende nødt til at tage fat i den givne rapport for året – hvor forbehold og manglende tidssammenligning står angivet. I formidlingen af LUP-resultater gør vi os hele tiden overvejelser om, hvor meget og hvor lidt information vi skal skære til og fra, for at gøre resultaterne så anvendelige som muligt for læserne. Vi tager løbende imod input, og overvejer løbende om der er behov for ændringer.

Ændringen af spørgsmålet om fejl fra 2010 og frem indebærer, at der ikke længere er givet lukkede svarmuligheder. Tidligere skulle patienten markere, om der var tale om a) forkert udleveret medicin, b) skade opstået under undersøgelse/operation, c) administrativ fejl (bortkommen journal, fejlregistrering mv.) og d) andet. Nu er der et åbent kommentarfelt, hvor patienten bliver bedt om at svare på, hvilken fejl vedkommende oplevede. Artiklen fremfører, at præciseringen af spørgsmålet er fjernet. Det kan man diskutere. Spørgsmålet er bestemt mere åbent, men guider samtidig ikke længere patienten hen imod bestemte forestillinger om, hvad en fejl kan være. Patienten har ydermere fået mulighed for at udfolde, hvad fejlen består i via et åbent kommentarfelt. Vi har erfaring for, at de åbne kommentarfelter rummer et stort læringspotentiale for afdelingerne, da de ofte giver konkrete anvisninger på, hvad der kan gøres anderledes.

Spørgsmål om livsstil

Artiklen kritiserer undersøgelsens spørgsmål om patientens viden om livsstilens betydning for helbredet. Her må vi give medhold i kritikken. Det pågældende spørgsmål er svært at tolke på og fungerer ikke. Spørgsmålet vil da også være erstattet af et andet spørgsmål ved dataindsamlingen i 2013.

Spørgsmål om samlet indtryk

Artiklen kritiserer slutteligt spørgsmålet om ”Patientens samlede indtryk af indlæggelsen på afdelingen”. Artiklens forfattere vurderer, at spørgsmålet er overflødigt, fordi 94 % i 2011 svarede positivt. Blandt indlagte patienter svarede 93 % positivt i 2011. 51 % havde et ”godt” samlet indtryk og 42 % havde et ”virkelig godt” samlet indtryk. I selvsamme rapport, som artiklen henviser til, bragte vi et temaafsnit, som omhandler det udviklingspotentiale, der er til stede, hvis man skal flytte patienternes svar fra ”godt” til ”virkelig godt”. Temaafsnittet bygger på interview med patienter, som havde svaret enten ”godt” eller ”virkelig godt”, og interviewene afdækker, hvad patienterne lægger til grund for deres svar. Interviewene viser, at der er rigtigt meget at arbejde med, hvis ambitionen er, at patienterne skal have et ”Virkeligt godt” frem for et ”Godt” samlet indtryk af deres indlæggelsesforløb. En anden mulig vinkel på problemstillingen er at kigge på de 6 % af de indlagte patienter, som havde et ”dårligt” eller ”meget dårligt” samlet indtryk af deres indlæggelse i LUPs inklusionsperiode (ca. 3. måneder). Det svarer til 8.089 patienter og tilsvarende flere på årsbasis. Det, der kan forekomme som en forholdsvis lille andel, berører altså forholdsvis mange patienter. Derudover kan patienternes vurdering af det samlede indtryk af indlæggelsen variere betydeligt fra afdeling til afdeling, og her må den enkelte afdeling vurdere, om resultaterne giver anledning til handling eller ej. Afhængig af øjnene der ser, er der således mere eller mindre at arbejde med, på baggrund af spørgsmålet om det samlede indtryk. Det må igen bero på en diskussion af ambitionsniveauet for den enkelte afdeling, sygehus eller region. Det er ikke LUPs eller Enheden for Brugerundersøgelsers opgave at fastlægge dette niveau.

Afrapportering

Artiklens forfattere kritiserer mere generelt afrapporteringen af LUP resultater. Afdelingsrapporterne indeholder en oversigtsfigur, hvor svarkategorierne er omkodet til grønne og røde nuancer hhv. positive og negative svar. I oversigtsfiguren er der lavet nogle omkodninger af spørgsmålene, som vi gør rede for I ”Fakta-rapporten” om LUP . Figurerne er udarbejdet som en hjælp til hurtigt at få overblik over resultaterne – det er en oversigtsfigur. Som altid, når man komprimerer information, så går man glip af nogle nuancer, og det sker også i oversigtsfiguren. Det giver til dels en uigennemsigtighed i forhold til resultaterne, hvilket har mødt kritik, og dette forhold har vi planer om at rette op på. Oversigtsfigurerne har blandt andet ikke gjort det tydeligt nok, at patienterne i flere spørgsmål har haft mulighed for at svare ”ikke relevant” eller ”ikke aktuelt for mig”. I LUP2014 vil vi enten minimere omfanget af omkodning, eller også gøre det lettere tilgængeligt, at få indsigt i omkodningen eller de rå datafrekvenser.

Nonresponse og bortfald

Forfatterne skriver, at der er grund til at undersøge, om en særlig patientgruppe år efter år undlader at besvare skemaet. I så fald hvem det er, og hvorfor de ikke svarer. ”Ingen af disse forhold er tydeligt diskuteret i LUP”, påstår de. I forbindelse med LUP 2009 gennemførte vi en undersøgelse af, om der er forskel på respondenters og non-respondenters vurderinger i LUP . Gennem telefoninterview med både respondenter og non-respondenter fik vi viden om, hvorfor nogle vælger at besvare spørgeskemaet og andre ikke gør. Det hyppigste svar på, hvorfor respondenterne havde valgt at svare, var, at de gerne ville forbedre kvaliteten på sygehusene. Blandt nonrespondenterne var der flest, der angav, at de ikke havde tid eller lyst, som begrundelse. Begge grupper blev i telefoninterviewet stillet fem spørgsmål fra LUP-spørgeskemaet, så vi kunne undersøge, om der var forskel på, hvad de svarede. De efterfølgende analyser viste, at der var forholdsvis små forskelle i respondenters og nonrespondenters svar, med en lille tendens til at respondenterne var mere positive end nonrespondenterne .

For at vurdere, om besvarelserne fra patienterne i undersøgelsen danner et repræsentativt billede af samtlige patienters oplevelser, laver vi hvert år en bortfaldsanalyse. Bortfaldsanalyse viser, om deltagerne i en undersøgelse adskiller sig væsentligt fra de, der ikke deltager. Respondenter sammenlignes således med nonrespondenter i forhold til følgende baggrundsvariable: køn, alder, indlæggelsesform, indlæggelsestid, antal ambulante besøg, region og speciale .

At forhold sig kritisk

Artiklens forfattere konkluderer, at LUP ikke forholder sig kritisk til sin egen metodik. Vi ved ikke, på hvilket grundlag dette udsagn anføres. Vi mener bestemt, vi forholder os kritisk og søger at indarbejde den feedback, vi får, i undersøgelseskonceptet. Efter at den første LUP blev gennemført i 2009, inviterede vi en fire faglige eksperter inden for hhv. evaluering, statistisk analyse, kommunikation og formidling samt klinisk ledelse til at gennemgå og komme med kritik til såvel spørgeskemaer som afrapportering. I den efterfølgende undersøgelse indarbejdede vi en stor del af de anbefalinger, vi fik i denne proces. Vi har i efteråret 2012 gennemført en evaluering af forskellige brugergruppers opfattelse af LUP og har i den forbindelse interviewet og holdt workshops med et bredt udvalg af repræsentanter fra sygehusledelse, klinisk ledelse og personale samt decideret kritikere af LUP. En af den kritiske artikels forfattere blev også inviteret til at deltage, men afslog. På baggrund af evalueringen vil vi implementere en række ændringer i både spørgeskema og afrapportering i LUP 2014. En del af ændringsforslagene skal først pilottestes i slutningen af 2013 – og det er derfor for tidligt at udtale sig om, hvilke specifikke ændringer der vil blive tale om. Vi vil dog blandt andet kigge på, hvilke konsekvenser forskellige ændringer af svarskalaerne vil få.

Ja, der er forhold i undersøgelsen, der kan udvikles og forbedres, og vi tager gerne mod konstruktiv kritik og gode ideer. Vores ønske er, at tilbagemeldingerne fra de mange patienter, der svarer på spørgeskemaet i LUP, bliver taget alvorligt, og at afdelingerne forholder sig til og handler på patienternes feedback. Selvom mange patienter heldigvis er positive, er der fortsat rum for at gøre det bedre.