Hospitalsstandardiseret mortalitetsratio kan ikke sikkert relateres til kvaliteten af patientbehandlingen

Begrebet hospitalsstandardiserede mortalitetsratioer (HSMR) blev introduceret i Storbritannien i 1999 [1] og bruges efterhånden i mange lande. Den grundlæggende idé er, at patienters risiko for at dø under (eller lige efter) en indlæggelse afspejler kvaliteten af den samlede patientbehandling på et sygehus, dvs. at HSMR kan bruges som en generisk resultatindikator i sygehusenes arbejde med kvalitetsudvikling [2]. Det hævdes f.eks., at høje værdier af HSMR på et sygehus kan signalere forekomst af dødsfald, som burde kunne undgås, og at et fald i HSMR vil afspejle kvalitetsforbedringer [3].

I forlængelse af erfaringerne med beregninger af HSMR i Operation Life-kampagnen i 2007-2009 [4, 5] har man publiceret kvartalsvise resultater for danske sygehuse, se [6].

HSMR anvendes i projektet Patientsikkert Sygehus, hvor ét af målene er at reducere værdierne på de fem deltagende sygehuse med 15% frem til 2013, se [7]. Og Danske Regioner har i 2011 angivet en målsætning om at ville reducere HSMR på danske sygehuse med 10% over de næste tre år [8].

Brugen af HSMR har altid været kontroversiel, især i lande hvor værdierne offentliggøres [3], men kritikken er vokset i de seneste år [9-12].

Kritikerne fremhæver især, at HSMR har et dårligt signal-støj-forhold: Signalet, som skal være variationen i antallet af forebyggelige (eller udsættelige) dødsfald som funktion af variation i behandlingskvaliteten, er svagt. Og støjen, som skyldes irrelevante variationer i validiteten af de anvendte data og i kvaliteten af de matematiske/statistiske modeller, er kraftig.

Det kan også være problematisk, at HSMR let kan misfortolkes og give anledning til uheldige ledelsesmæssige dispositioner [13].

Vi vil illustrere problemerne med udgangspunkt i de seneste års HSMR-tal fra Danmark.

HVAD ER EN HOSPITALSSTANDARDISERET MORTALITETSRATIO, OG HVORDAN BEREGNES DEN?

En HSMR er en brøk (multipliceret med 100), hvor tælleren er det observerede antal dødsfald efter indlæggelse på et sygehus i en periode, og nævneren er det estimerede antal. Der anvendes udelukkende data, som i forvejen er registreret i diverse statistikker og indberetninger, men der findes forskellige metoder og modeller til optælling af indlæggelser, patienter og observerede dødsfald samt til beregning af de forventede antal dødsfald. HSMR kan aggregeres for grupper af sygehuse, f.eks. i regioner, og for et helt land.

I Danmark anvendes dødsfald inden for 30 dage efter en heldøgnsindlæggelse (uanset varigheden og overflytninger), men kun blandt patienter med en af de 80 indlæggelsesdiagnoser, som i 2008 samlet blev registreret at føre til 80% af alle sådanne dødsfald i hele landet [14]. Det førstnævnte er specielt for Danmark og er knyttet til mulighederne for sporing af patienter via Det Centrale Personregister og Landspatientregisteret, mens begrænsningen af de betragtede indlæggelsesdiagnoser eller -grupper er almindeligt brugt [3].

De estimerede antal dødsfald beregnes som summen af de indlagte patienters sandsynligheder for at dø. I den danske model estimeres sandsynlighederne ved hjælp af en logistisk regressionsmodel baseret på data fra 2008, dvs. de observerede dødsfald i dette år kombineret med en række prædiktive variable: indlæggelsesdiagnosen, patientens køn, alder og civilstand, tidligere og nuværende andre sygdomme (udtrykt i en såkaldt komorbiditetscore, baseret på historiske data fra Landspatientregisteret), indlæggelsesmåden (akut eller planlagt), overflytningsstatus og kvartal [14].

HOSPITALSSTANDARDISERET MORTALITETSRATIO I DANMARK FRA 2007 TIL 2011

Figur 1 viser de observerede antal dødsfald, de forventede antal dødsfald og den beregnede HSMR for alle sygehuse i Danmark samt de nedre og øvre grænser for 95% konfidens-intervallet for HSMR.

HSMR har en nedadgående tendens i perioden (dog ikke i 2011), dvs. en udvikling, der kunne tolkes som en forbedret behandlingskvalitet i det danske sygehusvæsen. Men der ses to påfaldende tendenser:

• · Store dele af faldet i HSMR i perioden indtraf som hurtige dyk fra tredje til fjerde kvartal i 2009, og igen fra tredje kvartal i 2010 til første kvartal i 2011.

• · Ingen af disse to dyk skyldtes et fald i antallet af observerede dødsfald (tælleren), men stigninger i de forventede antal (nævneren).

Observationerne rejser to spørgsmål: 1) Er det sandsynligt, at kvaliteten af sygehusbehandlingen i Danmark blev så markant forbedret i løbet af to så korte tidsrum i 2009 og 2010, at det blev synligt som dyk i HSMR? 2) Kan ændringerne i HSMR blot skyldes tilfældige variationer, eller måske skred (bias) i antallene af medregnede dødsfald og i estimaterne af de forventede antal dødsfald, dvs. et beregningsteknisk fænomen?

Svaret på det første spørgsmål er tæt knyttet til spørgsmålene om, hvor store andele af dødsfaldene blandt indlagte patienter der må betragtes som uundgåelige, og hvor store andele der afhænger af variationer i kvaliteten af behandlingen? Og hvor mange af disse dødfald der kunne forebygges (eller udsættes), hvis behandlingen og herunder patientsikkerheden var optimal?

En amerikansk undersøgelse tyder på, at det drejer sig om et beskedent antal, under 1% af alle dødsfald, hvis man betragter overlevelse i mere end 30 dage efter en indlæggelse [15]. Det passer også med, at associationen mellem HSMR og andre mål for behandlingskvalitet er svag [9, 16-18], og det er således næppe sandsynligt, at de observerede dyk i HSMR i Danmark kan tilskrives en forbedret kvalitet.

Svaret på det andet spørgsmål må være ja. Ud over tilfældigheder er der tre forhold, der kan medføre skred i beregningerne:

1) Estimaterne afhænger af validiteten af de patientadministrative data, der indgår i beregningsmodellen, herunder især af indlæggelsesdiagnosen. Der er f.eks. ikke koder for palliativ eller terminal behandling på listen over de 80 anvendte indlæggelsesdiagnoser, og der kodes ikke for sværhedsgraden af en sygdomstilstand. Det kan sammenholdes med, at næsten halvdelen af alle dødsfald i 2008 var knyttet til kun ti diagnoser/koder, som dækker over tilstande med et bredt spektrum af sværhedsgrader og dermed prognoser. De ti diagnoser/koder, nævnt efter hyppighed, er: »lungebetændelse, agens ikke specificeret«, »lægelig observation for og vurdering af personer mistænkt for sygdom«, »anden blodforgiftning«, »respirationsinsufficiens ikke klassificeret andetsteds«, »kræft i bronkie og lunge«, »brud på lår«, »udtørring og nedsat ekstracellulærvolumen«, »kronisk obstruktiv lungesygdom, anden«, »akut hjerteinfarkt« og »hjertesvigt«. Det er påvist, at forskelle (eller ændrin ger) i brugen af indlæggelsesdiagnoser kan medføre skred i beregningerne af de forventede antal dødsfald, og især kan brugen af koder for patienter med terminal sygdom have betydelige effekter på en beregnet HSMR [13, 19,20].

2) Strukturen af den anvendte logistiske regressionsmodel spiller en rolle. Kan man med modellen kompensere (justere) tilstrækkeligt for variationer i omstændigheder, der påvirker risikoen for at dø i forbindelse med en indlæggelse? Det er f.eks. påvist, at hyppige genindlæggelser kan medføre fejl i beregningerne af de forventede antal dødsfald [21], og at nogle modeller ligefrem kan skabe fejl snarere end at eliminere dem, når man sammenligner grupper [22, 23].

3) Der kan være problemer knyttet til justering for betydningen af tidligere og nuværende »andre sygdomme« (komorbiditet) på en patients estimerede sandsynlighed for at dø. I de danske beregninger anvendes en vægtning, der er baseret på en scoring af 19 kroniske tilstande, som spillede en signifikant rolle for indlagte patienters overlevelse i USA i begyndelsen af 1980'erne [24]. Der gives f.eks. scorer for aterosklerotisk hjerte-kar-sygdom og diabetes mellitus, skønt både definitionerne (diagnostikken) af disse tilstande og prognoserne er ændret markant i de forløbne 30 år. Det betyder f.eks., at man vil få en systematisk og stigende overvurdering af de forventede antal dødsfald, jo flere patienter der diagnosticeres med disse sygdomme.

HOSPITALSSTANDARDISERET MORTALITETSRATIO I REGIONERNE FRA 2007 TIL 2011

Figur 2 viser de aggregerede HSMR for sygehusene i landets fem regioner og tallene for hele landet (samme som i Figur 1). Bemærk disse tre træk:

1) HSMR-niveauerne er højere i de to små regioner end i de tre store. Det afspejler ikke større regionale forskelle i behandlingskvaliteten, da der f.eks. er store spredninger mellem sygehusene internt i hver region (ikke vist), men snarere, at der er forskelle i patientpopulationerne, som ikke kan korrigeres ved den såkaldte indirekte standardisering i den logistiske regionsmodel [14].

2) HSMR-værdier springer meget fra kvartal til kvartal, især i de to små regioner. Hvis man ser på tallene fra de enkelte hospitaler i hver region (ikke vist), er variationen ofte endnu mere udtalt. Det skyldes tilfældig variation i antallet af observerede eller forventede dødsfald, men kan også skyldes tidsmæssige variationer i sammensætningerne af patientpopulationerne, som der ikke kan korrigeres for.

3) Der er påfaldende interregionale forskelle i udviklingsmønsteret: Hvis man f.eks. ser på ændringerne fra tredje til fjerde kvartal i 2009, faldt HSMR med lidt over 15% i Region Hovedstaden, mens HSMR var uændret i Region Midtjylland. Og ser man på ændringerne i HSMR fra tredje til fjerde kvartal i 2010, var der fald på omkring 10% i Region Syddanmark og Region Nordjylland, mens værdierne var uændrede i Region Hovedstaden og Region Midtjylland. Det er svært at forklare sådanne forskelle med dissocierede regionale kvalitetsforbedringer. Omvendt er det umiddelbart forståeligt, at f.eks. en ændret kode- eller udskrivelsespraksis på et eller flere hospitaler i en region kan slå igennem på kort tid, og at det kan være den væsentligste forklaring på den fundne variation.

DISKUSSION

Det er vigtigt at vælge gode indikatorer til monitorering af kvaliteten af sygehusvæsenets ydelser [2], og spørgsmålet er, om HSMR er en god indikator.

Vores analyse af udviklingen i HSMR fra 2007 til 2011 på nationalt og regionalt plan viser, at der ud over tilfældig statistisk variation er forekommet pludselige spring, som har været ujævnt fordelt i regionerne, og som ikke på en meningsfuld måde kan relateres til ændringer i kvaliteten af sygehusvæsenets ydelser, herunder patientsikkerheden.

Vi peger på de mulige effekter af ændringer i valg af indlæggelsesdiagnoser (kodningspraksis) og på flere svagheder ved den matematisk-statistiske model, der anvendes til beregning af de forventede antal dødsfald, dvs. nævneren i HSMR. Disse effekter genererer meget støj. Denne støj risikerer helt at overskygge det signal, man ønsker at måle, nemlig variationer i antallet af dødsfald i forbindelse med sygehusindlæggelser som funktion af kvaliteten af behandlingen.

Set fra en pragmatisk synsvinkel at det værd at bemærke, at uanset hvad der er årsager til variationerne i HSMR, er de så store, at det kan vise sig svært (eller endog umuligt) at påvise signifikante variationer i størrelsesordenen 10-15% [8].

KONKLUSION

Der kan sættes alvorlige spørgsmålstegn ved kvaliteten af HSMR som indikator for kvaliteten af behandlingen i sygehusvæsenet. Beregningerne af HSMR i Danmark kunne muligvis forbedres, men vi vil anbefale, at man under alle omstændigheder er forsigtig med at bruge HSMR til at udstikke mål for kvalitetsudvikling og til monitorering af udviklingen.

Samtidig vil vi fraråde, at man giver HSMR-værdier en fremtrædende plads som kvalitetsindikatorer, endsige lader værdierne stå alene.

src="/LF/images_ufl/ufl_bla.gif">
Lars Ulrik Gerdes , Center for Kvalitet, Region Syddanmark, P.V. Tuxensvej 5, 5500 Middelfart. E-mail: ulrik.gerdes@dadlnet.dk

ANTAGET: 14. februar 2012

FØRST PÅ NETTET: 26. marts 2012

INTERESSEKONFLIKTER: Forfatternes ICMJE-formularer er tilgængelige sammen med artiklen på Ugeskriftet.dk

1. Jarman B, Gault S, Alves B et al. Explaining differences in English hospital death rates using routinely collected data. BMJ 1999;318:1515-20.
2. Mainz J, Hansen A-M, Bartels P et al. Indikatormonitorering. I: Mainz J, Bartels P, Bek T et al, red. Kvalitetsudvikling i praksis. København: Munksgaard Danmark, 2011:197-222.
3. Bottle A, Jarman B, Aylin P. Strengths and weaknesses of hospital standardised mortality ratios. BMJ 2011;342:c7116.
4. Christensen S, Jacobsen J, Bartels P et al. Beregning af standardiseret mortalitet efter hospitalsindlæggelse. Ugeskr Læger 2007;169:2767-72.
5. Dansk Selskab for Patientsikkerhed og TrygFonden. Operation Life Slutrapport, 2009. www.sikkerpatient.dk (2. jan 2012).
6. www.sundhed.dk (2. jan 2012).
7. www.patientsikkertsygehus.dk (2. jan 2012).
8. Kvalitet i Sundhed. København: Danske Regioner, 2011.
9. Shojania KG, Forster AJ. Hospital mortality: when failure is not a good measure of success. CMAJ 2008;179:153-7.
10. Lilford R, Pronovost P. Using hospital mortality rates to judge hospital performance: a bad idea that just won't go away. BMJ 2010;340:c2016.
11. Black N. Assessing the quality of hospitals. BMJ 2010;340:c2066.
12. Scott IA, Brand CA, Phelps GE et al. Using hospital standardised mortality ratios to assess quality of care - proceed with extreme caution. Med J Aust 2011;194:645-8.
13. Hawkes N. Patient coding and the ratings game. BMJ 2010;340:c2153.
14. Engebjerg MC, Nørgaard M. Hospitalsstandardiserede mortalitetsratioer (HSMR) Klinisk Epidemiologisk Afdeling, Aarhus Universitetshospital, 2009. www.sundhed.dk (2. jan 2012).
15. Hayward RA, Hofer TP. Estimating hospital deaths due to medical errors: preventability is in the eye of the reviewer. JAMA 2001;286:415-20.
16. Lilford R, Mohammed MA, Spiegelhalter D et al. Use and misuse of process and outcome data in managing performance of acute medical care: avoiding institutional stigma. Lancet 2004;363:1147-54.
17. Pitches DW, Mohammed MA, Lilford RJ. What is the empirical evidence that hospitals with higher-risk adjusted mortality rates provide poorer quality care? BMC Health Serv Res 2007;7:91.
18. Kernisan LP, Lee SJ, Boscardin WJ et al. Association between hospital-reported Leapfrog Safe Practices Scores and inpatient mortality. JAMA 2009;301: 1341-8.
19. Klugman R, Allen L, Benjamin EM et al. Mortality rates as a measure of quality and safety, "caveat emptor". Am J Med Qual 2010;25:197-201.
20. Bottle A, Jarman B, Aylin P. Hospital standardized mortality ratios: sensitivity analyses on the impact of coding. Health Serv Res 2011;46:1741-61.
21. van den Bosch WF, Kelder JC, Wagner C. Predicting hospital mortality among frequently readmitted patients: HSMR biased by readmission. BMC Health Serv Res 2011;11:57.
22. Nicholl J. Case-mix adjustment in non-randomised observational evaluations: the constant risk fallacy. J Epidemiol Community Health 2007;61:1010-3.
23. Mohammed MA, Deeks JJ, Girling A et al. Evidence of methodological bias in hospital standardised mortality ratios: retrospective database study of English hospitals. BMJ 2009;338:b780.
24. Charlson ME, Pompei P, Ales KL et al. A new method of classifying prognostic comorbidity in longitudinal studies: development and validation. J Chronic Dis 1987;40:373-83.