Vi forudsætter vel alle intuitivt, at det vigtigste for patienten er at få den bedst mulige behandling, der har det sigte at helbrede den aktuelle lidelse med mindst mulig sygelighed, for hurtigst muligt at opnå den tilstand, der var, før sygdommen opstod. Vi søger at sikre bedst mulig kvalitet i den lægelige behandling og har efter debatten i 1980’erne tillige interesseret os for, om patienten var tilfreds med behandlingen, hvilket er en tidssvarende tilgang, men desværre opstod den som reaktion på kritikken af systemets manglende åbenhed og gennemsigtighed og ikke på lægeligt initiativ. Enheden for Brugerundersøgelser [1] gennemfører spørgeskemaundersøgelser, som benævnes Den Landsdækkende Undersøgelse af Patientoplevelser (LUP) [2-4]. De indgår som en del af Den Danske Kvalitetsmodel (DDKM) [5] til beskrivelse af standarder i forbindelse med patientforløb, og som en del af kvalitetsmodellen benyttes LUP til at score regionernes, hospitalernes og afdelingernes præstationer inden for »generelle forløb« og har siden 2008 indgået i smiley-ordningen, der offentliggøres i samarbejde mellem Sundhedsstyrelsen og Indenrigs- og Sundhedsministeriet [6].
Svarene på spørgeskemaspørgsmålene bruges som indikatorer, der anvendes til at overvåge og evaluere den patientoplevede kvalitet i akkrediteringsstandarderne for sygehusene i DDKM (generelle patientforløbsstandarder). Dermed får undersøgelsen direkte indflydelse som en del af incitamentsstrukturen ved at virke adfærdsregulerende på personalet, idet den kan henføres til afdelingsniveau, og den får indirekte indflydelse som led i new public management-grundfilosofien ved at vejlede patienterne i at søge behandling der, hvor den er »bedst«, hvorved patienternes frie valg er med til at understøtte diagnoserelateret gebyr-budgetter for afdelingerne [7].
I sidste ende kan undersøgelsen medvirke til en politisk ledelsesmæssig begrundelse for fordeling af behandlinger mellem forskellige afdelinger. Endvidere anvendes den som en del af akkrediteringsprocessen.
Formålet med LUP [2-4] er, at: »Identificere og sammenligne forskelle i patienters oplevelser inden for udvalgte temaer. Give input til at arbejde med kvalitetsforbedringer. Kunne følge udviklingen i patienternes oplevelser og vurderinger systematisk over tid«.
I denne artikel stilles der skarpt på den videnskabelige metodik, der anvendes i LUP [2-4]. Forskningsspørgsmålet lyder: Hvordan vurderes den metodiske kvalitet i LUP?
MATERIALE OG METODE
Det anvendte spørgeskema fremgår af bilagsmaterialet i rapporterne [2-4] og delvist af Figur 1. Det indeholder ca. 20 spørgsmål. Den centrale variabel er tilfredshed. Metodologisk betragtes valide »tilfredshedsmålinger« som svære, fordi tilfredshed er en kombination af konkrete oplevelser/handlinger og forventninger/holdninger [8-10]. Netop forventninger spiller en stor rolle og er påvirket af faktorer som kultur, køn, social status og topografi [11]. Med spørgeskemaet bliver patienterne bedt om at vurdere hændelser, informationer, forløb eller overgange mellem forskellige afdelinger mv. I kommunikationen af undersøgelsens resultater bliver holdninger og vurderinger transformeret til handlinger. Spørgsmål, der indledes med »oplevede du«, efterlyser en vurdering. Imidlertid afspejler svarkategorierne en handling/observation, hvilket kan medvirke til at forvirre respondenten og gøre dataene nonvalide. Vi vil i det efterfølgende ved en gennemgang af udvalgte dele af spørgeskemaet ud fra de samfundsvidenskabelige krav til spørgeskemaer redegøre for, hvorfor disse konklusioner ikke bør drages på baggrund af undersøgelsen, og hvorfor den ikke kan være handlingsanvisende.
RESULTATER
Spørgsmål 7/8: »I hvilket omfang blev dine pårørende inddraget i de beslutninger, der skulle træffes om din behandling og pleje?« Et spørgsmål, der skal stilles jf. sundhedsloven, men som ikke bør afrapporteres, medmindre man har sikkerhed for, at det er relevant for/ønsket af patienten, at de pårørende blev inddraget.
Spørgsmål 8/9: »Oplevede du, at der skete fejl i forbindelse med dit indlæggelsesforløb?« (spørgsmål 8). Fejl var i skemaet fra 2009 [2] defineret ved en nærmere præcisering: a) udleveret forkert medicin, b) skade opstået under undersøgelse/operation, c) administrativ fejl (bortkommen journal, fejlregistrering mv.) og d) andet. I rapporteringen står, at 19% af patienterne angav, at de havde oplevet »fejl«. I repetitionen af undersøgelserne i 2011 og 2012 [3, 4] er præciseringen af spørgsmålet fjernet. Disse rapporteringer fortæller, at 13% af patienterne angav, at de havde oplevet »fejl«. En oplagt konklusion er, at hospitalssektoren er blevet bedre til at undgå fejl. Men den er forkert, for det handler om, at der er stillet to forskellige spørgsmål (som det også antydes i [3]).
I den seneste rapport [4] er »forbeholdet« fra den tidligere rapport ikke medtaget.
Spørgsmål 19/20: »Har du, efter du blev udskrevet fra afdelingen, været i tvivl om din livsstils betydning for dit helbred (f.eks. motion, ernæring, rygning og alkohol)?« er på mange måder problematisk. For det første indeholder det en sammenblanding af flere forhold, således at man ikke ved, hvad der svares på. For det andet kan det være vanskeligt at forstå bevægelsen fra spørgsmålskategorierne til analysekategorierne; hvordan kan det karakteriseres som positivt eller negativt, når analysen siger, at »patienten er ikke i tvivl om livsstilens betydning for helbredet«?
Spørgsmål 21/22: »Hvad er dit samlede indtryk af din indlæggelse på afdelingen?« Spørgsmålet må karakteriseres som uhensigtsmæssigt og overflødigt, fordi der er spurgt om noget, som alle besvarer på samme måde (i ministerens forord i rapporteringen [4] hedder det, at 94% svarede positivt). Fra en metodisk synsvinkel ville man stille spørgsmålet om, hvorfor det givne svarmønster er opnået. Er det sandsynligt, at alle informanter (eller 94%) er enige i, at deres indlæggelse har været en positiv oplevelse –
eller er der andre forklaringer? Man ville f.eks. også undersøge, om der er spurgt på en sådan måde, at alle bliver enige. Kunne man forestille sig, at et skema, der ikke muliggør, at der kan svares neutralt, vil flytte besvarelserne mod positivt frem for mod negativt? Handler det om selve opgørelsesmetoderne, således at analysen f.eks. udelukker de respondenter, der enten ikke besvarer spørgsmålet eller ikke tager stilling til det? Der er mange muligheder, men det er bekymrende, at LUP ikke forholder sig kritisk til sin egen metodik.
Hvad angår analysen af hvert enkelt spørgsmål (Figur 1), kan man bl.a. interessere sig for konklusionen om patientens »positivitet« eller det modsatte i forlængelse af, at spørgsmålet besvares med kategorien »passende«. Det kunne se ud, som om »meget positiv« og »positiv« er lagt sammen i forlængelse af svarkategorien »passende«. Besvarelse med »for meget« og »for lidt« rubriceres dermed som »negativ« eller »meget negativ«. Hvad er der sket med svarkategorien »ikke aktuelt for mig«? Det er ikke ualmindeligt at forklare og fortolke handlingsspørgsmål med holdninger. Eksempelvis: Respondenten fortæller, at han ofte går i teatret (= handling), heraf følger den antagelse, at han holder af det (= holdning). Den modsatte vej – at gå fra besvarelsen af et holdningsspørgsmål til en bestemmelse af, hvad respondenten rent faktisk foretager sig – er ikke anerkendt. Eksempelvis: Respondenten tager afstand fra fedme (= holdning), men vi kan ikke konkludere noget om respondentens faktiske tilstand (= handling) – tyk eller tynd – eller respondentens faktiske bestræbelser på at blive slank/holde sig slank. I kommunikationen af LUPs resultater sker der imidlertid præcis det, at der konkluderes ud fra oplysninger om holdninger og vurderinger med en »afkortet form« af spørgsmålene (som det siges i rapporten), som signalerer handlinger mere end holdninger.
Opgørelsen transformerer patienternes (subjektive) holdninger til et naturvidenskabeligt paradigme med objektive målestokke [8]; konklusioner baseres på de patienter, der svarer, uden inddragelse af forhold vedrørende manglende besvarelser, idet alle resultater rapporteres som 100% (Figur 2). Endvidere har patienterne kun i enkelte tilfælde mulighed for at give en neutral besvarelse, hvilket må siges at være for lidt, da de under besvarelsen ofte er i et afhængighedsforhold til afdelingen. Endelig beder man ikke patienten om at tage stilling til spørgsmålets relevans for den pågældende og kan derfor ikke beskrive årsag og sammenhæng, hvorfor resultatet af undersøgelsen ikke kan være handlingsanvisende.
DISKUSSION
Det er et problem, at kvaliteten af det anvendte spørgeskema er så ringe, som tilfældet er, at de foretagne analyser og konklusioner efter al sandsynlighed er fejlagtige, samt at de faktiske forhold i hospitalssektoren med højt innovationsniveau, konstant udvikling, dynamik og kontinuerlige systemforandringer ikke er iagttaget i den anvendte evalueringsmodel.
Det er et iøjnefaldende problem, at patienterne er interviewet om deres tilfredshed, mens den personalegruppe, der skal varetage den faglige kvalitet under opholdet på hospitalet, ikke er interviewet. Dette er naturligvis vanskeligt at gøre i spørgeskemaformen, men der er tale om oplevelser med generelle forløb, hvorfor definitionen af den organisatoriske kvalitet er betydningsfuld. »Den vedrører kvaliteten af tilrettelæggelse af patientens forløb, herunder koordination og kontinuitet i relation til forholdet mellem patient og sundhedsperson samt i relation til det tværfaglige og tværsektorielle samarbejde. Herunder indgår der tillige forekomst og kvalitet af f.eks. apparatur, datastyring, dokumentation, kompetence, etc.« Dette bør indgå i fortolkningen af svarene, for at de kan give mening. Det største problem er måske, at man med LUP ønsker, at tilfredsheden skal øges. Dette er meningsløst både fornuftsmæssigt og statistisk. En diskussion af, hvilken patienttilfredshed vi ønsker os eller har råd til, vil være mere fornuftig.
KONKLUSION
På det foreliggende grundlag finder vi, at LUP har en utilfredsstillende videnskabelig og faglig kvalitet. Forskningsspørgsmålet i artiklen kan besvares med ordet »tvivlsom«.
I videnskabelig henseende er der tale om omfattende mangler. På den baggrund rejses der tvivl om validiteten af undersøgelserne. Hvis fundamentet ikke er i orden, vil det naturligvis have konsekvenser for de praktiske, økonomiske og politiske beslutninger, prioriteringer og strategier, der kan foretages på baggrund af det.
For højtuddannet og motiveret personale er en korrekt bedømmelse af den leverede kvalitet vigtig. Den betyder meget for den faglige selvopfattelse. Derfor er det af største ledelsesmæssige vigtighed, at resultaterne er valide, da de jo bl.a. anvendes i kåringer af landets bedste hospitaler og med jævne mellemrum citeres i medierne. Er kvaliteten i undersøgelsen ikke til stede, er resurseanvendelsen på de generelle forløbsbeskrivelser i DDKM uforståelig for de fagprofessionelle, når de forholdsmæssigt tildeles mere end 25% (ca. 10 mio. kr.) af det samlede Regionale Kliniske Kvalitets Udviklingsprogram (ca. 40 mio. kr.). Dette kan svække ønsket om at fokusere på patienttilfredsheden, som er en vigtig del af værdiskabelsen for ansatte i sundhedsvæsenet. Derfor bør DDKM revideres. I forordet til den tredje udgave af LUP-undersøgelserne skriver formanden for Danske Regioner, Bent Hansen, og minister for Sundhed og Forebyggelse, Astrid Krag [4]: »Vi er glade for i denne rapport at kunne præsentere patienternes oplevelser med sygehusvæsenet. Det er med stor tilfredshed, at vi kan konstatere, at de positive resultater fra sidste års undersøgelse fastholdes i undersøgelsen for 2011, hvor 93% af de indlagte patienter og hele 96% af de ambulante patienter svarer positivt i forhold til deres samlede oplevelse af forløbet på sygehuset«.
De samme ord satte den tidligere minister Bertel Haarder sin underskrift på i 2010 [3].
KORRESPONDANCE: Jens G. Hillingsø, Kirurgisk Afdeling CTx, Afsnit 2122,
Abdominalcentret, Rigshospitalet, Blegdamsvej 7, 2100 København Ø.
E-mail: jens.hillingsoe@regionh.dk
ANTAGET: 5. april 2013
FØRST PÅ NETTET: 3. juni 2013
INTERESSEKONFLIKTER:
Summary
The quality of the in survey-questionnaire Danish National Survey of Patient Experiences is questionable
Merete Watt Boolsen, Lise Munk Plum & Jens G. Hillingsø:
We question the social science methodology in survey-questionnaire Danish National Survey of Patient Experiences (LUP). The results from the survey are part of the accreditation system in The Danish Healthcare Quality Programme (DDKM). The methodological validity is researched through LUP-publications. We find that LUP has doubtful scientific quality which means that the validity of the survey results as such is questionable. Since this has consequences for the practical, economic, political and health-care decisions, we recommend that the total accreditation programme should be reconsidered.
Referencer
LITTERATUR
www.patientoplevelser.dk. (1. feb 2013).
Den Landsdækkende Undersøgelse af Patientoplevelser, 2009, udarbejdet af Enheden for Brugerundersøgelser på vegne af regionerne og Indenrigs- og Sundhedsministeriet. København: Enheden for Brugerundersøgelser, Region Hovedstaden, 2009.
Den Landsdækkende Undersøgelse af Patientoplevelser, 2010, udarbejdet af Enheden for Brugerundersøgelser på vegne af regionerne og Indenrigs- og Sundhedsministeriet. København: Enheden for Brugerundersøgelser, Region Hovedstaden, 2011.
Den Landsdækkende Undersøgelse af Patientoplevelser, 2011, udarbejdet af Enheden for Brugerundersøgelser på vegne af regionerne og Indenrigs- og Sundhedsministeriet. København: Enheden for Brugerundersøgelser, Region Hovedstaden, 2012.
www.ikas.dk. (1. feb 2013).
www.sundhedskvalitet.dk. (1. feb 2013).
Pedersen KM, Bech M, Hansen, MB. Incitamentsstyring i sygehusvæsenet: virkningen af øget takststyring og tilhørende incitamenter. Odense: Syddansk Universitetsforlag, 2006:25-90.
Patton MQ. Developmental evaluation. London: The Guilford Press, 2011.
Boolsen MW. Spørgeskemaundersøgelser – fra konstruktion af spørgsmål til analyse af svarene. København: Hans Reitzels Forlag, 2012.
Finansministeriet, Kommunernes Landsforening, Amtsrådsforeningen. Regeringens Moderniseringsprogram. Vejledning om brugerundersøgelser. København: Finansministeriet, 2002.
Schulze SB, Gut R, Freil M. Patienters indstilling til sygehusvæsenet i Østdanmark og Vestdanmark – medinddragelse, autoritetstro og informationssøgning. Ugeskr Læger 2006;168:279-82.