Skip to main content

Fører offentliggørelse af kvalitetsmålinger i sundhedsvæsenet til bedre kvalitet?

Cand.scient. Lars A. Endahl & Jan Utzon

2. nov. 2005
18 min.

Der findes gode eksempler på, at offentliggørelse af kvalitetsindikatorer kan medvirke til at forbedre patientbehandlingen. Men offentliggørelse af kvalitetsindikatorer kan også have en række uheldige og uønskede virkninger: Sygehusene kan prioritere behandlingen af de sygdomme, som indikatorerne vedrører, på bekostning af områder, som ikke evalueres. De mest syge patienter kan fravælges og risikopatienter kan overflyttes til et andet sygehus eller udskrives, så man undgår, at de dør på sygehuset. Patienter kan registreres som mere syge, end de faktisk er, så behandlingsresultatet fremstår som relativt bedre. Hvis en øget tilgang af patienter til afdelinger med gode resultater ikke modsvares af en øget tilførsel af ressourcer, kan konsekvensen blive voksende ventelister og dårligere behandling. Negativ offentlig omtale kan medføre uudnyttet sygehuskapacitet, utryghed hos patienter og sundhedspersonale samt personaleflugt. Offentliggørelse af indikatorer kan bidrage til at synliggøre og forbedre kvaliteten i sundhedsvæsenet, men man må være meget opmærksom på faldgruberne.

Der har i de seneste år været igangsat initiativer til at kortlægge kvalitetsforskelle i den danske sygehussektor (1). En systematisk kortlægning af kvalitetsforskelle kræver, at der udvikles valide og pålidelige kvalitetsindikatorer, der kan belyse kvaliteten af udvalgte områder (2). Udviklingen af sådanne indikatorer er i fuld gang blandt andet i Det Nationale Indikatorprojekt og i Center for Evaluering og Medicinsk Teknologivurdering.

Der er fra politisk side udtrykt et stort ønske om, at resultaterne offentliggøres, bl.a. for at gøre det frie sygehusvalg til et informeret valg for patienterne. Regeringen og sygehusejerne har således aftalt, at alle landets sygehuse inden udgangen af 2002 skal offentliggøre indikatorer for den kliniske kvalitet (3). Selv om udviklingsarbejdet med indikatorer endnu ikke er færdiggjort, bør det allerede nu grundigt overvejes, hvordan man bedst muligt kan udnytte indikatorer til at informere om og kvalitetsforbedre landets sygehuse. Man kan vælge kun at stille resultater fra indikatorerne til rådighed for det enkelte sygehus/den enkelte afdeling og dermed give dem mulighed for at reagere på oplysninger om eget kvalitetsniveau i forhold til en given standard, eller man kan vælge at offentliggøre resultaterne.

I USA offentliggør mange stater rutinemæssigt resultater fra indikatorer, og denne tendens synes at ville brede sig i de kommende år (4, 5). Det bør derfor også her i landet diskuteres, om en offentliggørelse af resultater vil tjene det grundlæggende formål, der er med udviklingen af kvalitetsindikatorer, nemlig at forbedre kvaliteten af behandlingen på sygehusene (6). Selv om de danske indikatorprojekter adskiller sig fra de amerikanske på en række områder, kan vi alligevel hente mange erfaringer om konsekvenserne af at udvikle og offentliggøre indikatorer for sygehusenes kvalitet.

De statistiske krav, der bør stilles til indikatorer og deres eventuelle offentliggørelse, er behandlet i en separat artikel (7). Denne artikel beskæftiger sig med, hvilke gavnlige og skadelige effekter offentliggørelse af resultaterne fra kvalitetsindikatorer kan føre med sig. Desuden beskrives nogle af de internationale erfaringer, der findes på området. Disse stammer primært fra USA, især fra de to stater New York og Pennsylvania.

Metode

Der er søgt litteratur om emnet i MEDLINE ved søgning på ord, der er relateret til indikatorer, kvalitet og offentliggørelse. Relevant litteratur er udvalgt efter skøn.

Offentliggørelse af indikatorer i New York State og Pennsylvania

I New York State og Pennsylvania har risikojusteret dødelighed for bypassoperationer i hjertet været offentliggjort siden starten af 1990'erne. Risikojusteret dødelighed offentliggøres på sygehusniveau med data, der er indsamlet gennem de seneste et og tre år, og på kirurgniveau med data, der er indsamlet gennem de seneste tre år (8). Risikojusteringen foretages ved at sammenholde den observerede dødelighed med den forventede dødelighed beregnet på baggrund af den enkelte kirurgs patienter. Patienternes underliggende risiko for død estimeres ud fra alder, køn, bidiagnoser, tilstand (stabil, ustabil, i shock), antal tidligere hjerteoperationer etc. Sygehusenes og kirurgernes operationsresultater offentliggøres i rapporter, forbrugerguides og på sundhedsafdelingernes websites med adresserne:

http://www.health.state.ny.us og http://www.phc4.org.

Hvem interesserer sig for kvalitetsindikatorer?

Offentliggørelse af resultaterne fra kvalitetsindikatorer kan være en effektiv måde at videregive information om sygehusenes kvalitet på. Informationen kan videregives som et bidrag til den offentlige debat om kvalitet, prioritet og serviceniveau i det offentlige sygehusvæsen, eller den kan videregives med bestemte modtagere for øje, fx kommende patienter, praktiserende læger, sygehuspersonale, sygehusledelser, sygehusejere eller politikere. Tanken er, at de nævnte modtagere vil reagere på informationen og derved motivere de relevante sygehuse og afdelinger til at sætte fokus på områder med potentiale for kvalitetsforbedringer.

Det er ikke nødvendigvis de samme kvalitetsindikatorer, som fx politikere, sygehuspersonale og patienter lægger vægt på. I en gennemgang af den videnskabelige litteratur på området (9, 10) er det undersøgt, i hvor stort et omfang de forskellige typer af modtagere opfatter og bruger kvalitetsindikato-rer til at træffe beslutninger. Gennemgangen viser, at patienter generelt lægger mere vægt på anekdotiske oplysninger fra familie og venner end på empirisk evidens, hvilket blandt andet skyldes, at mange patienter synes, at kvalitetsindikatorerne er svære at forstå (10, 11). I en spørgeskemaundersøgelse fra Pennsylvania svarede 12% af de patienter, der havde fået foretaget en bypassoperation, at de havde kendskab til de offentliggjorte kvalitetsindikatorer for bypasskirurgi, og kun 20% af disse patienter svarede, at indikatorerne havde haft indflydelse på deres valg af sygehus (12).

Sygehuspersonalet, der skal implementere eventuelle kvalitetudviklingstiltag, synes generelt at være skeptiske over for indikatorerne, og kun en lille del af personalet bruger dem (10). For eksempel angiver 68% af hjertekirurgerne i en spørgeskemaundersøgelse, der er foretaget i Pennsylvania, at de offentliggjorte indikatorer var mindre vigtige eller slet ikke vigtige i vurderinger af kvaliteten af hjerteoperationer (13). Dette understreger vigtigheden af, at fagpersoner er med til at vælge og validere indikatorerne. Denne tilgang er bredt accepteret herhjemme, hvor man fx i Det Nationale Indikatorprojekt har nedsat arbejdsgrupper med en række fagfolk fra det pågældende speciale til at fastlægge indikatorerne inden for specialet.

Betalernes (forsikringsselskaberne, Medicare og Medicaid) brug af indikatorer er begrænset om end stigende, hvorimod sygehusledelserne hører til den gruppe af interessenter, der interesserer sig mest for kvalitetsindikatorerne (9, 10). Om de praktiserende læger eller mere generelt de fagpersoner, der henviser patienter videre i systemet, aktivt bruger kvalitetsindikatorer i deres råd og henvisnings mønster, har været undersøgt i to spørgeskemaundersøgelser blandt kardiologer i New York State (14) og Pennsylvania (13). Kardiologerne blev spurgt om, hvorvidt de offentliggjorte risikojusterede dødelighedsmål var brugbare, om de diskuterede tallene med deres patienter, og om tallene havde indflydelse på deres henvisninger. I begge undersøgelser svarede mellem en tredjedel og halvdelen af kardiologerne, at de fandt tallene brugbare, mens de færreste kardiologer (under 25%) diskuterede tallene med deres patienter. Omkring 60% af kardiologerne svarede, at tallene havde indflydelse på deres henvisninger til bypasskirurgi.

Det skal understreges, at kortlægningen (9) omfatter den internationale litteratur, den beskriver derfor i høj grad forholdene i USA. Konklusionerne kan derfor ikke direkte overføres til danske forhold, hvor sundhedssektoren har en helt anden struktur og tradition, ligesom andre juridiske forhold og muligheder for sagsøgning gør sig gældende. For eksempel er betalere og sygehusejere sammenfaldende i Danmark, hvilket de ikke er i USA. Derfor melder spørgsmålet sig, i hvor høj grad sygehusejerne (amterne og H:S) vil bruge kvalitetsindikatorer som beslutningsgrundlag og til igangsættelse af kvalitetsudviklingsprojekter. Da sygehusejerne i Danmark (via Amtsrådsforeningen og H:S) støtter udviklingen af indikatorer i Det Nationale Indikatorprojekt, er mulighederne for, at de danske indikatorer vil få stor betydning, til stede, men i hvor høj grad danske indikatorer rent faktisk vil blive brugt, kan selvsagt først vurderes, når kvalitetsindikatorerne har været tilgængelige i Danmark i en årrække.

Skadelige effekter af offentliggørelse

Hvis man forestiller sig, at offentliggørelse af indikatorer vil føre til ændrede henvisningsmønstre eller til en større udnyttelse af det frie sygehusvalg blandt patienterne, kan det føre til en forøget tilgang af patienter til de sygehuse, der har gode indikatorresultater. Hvis den forøgede tilgang ikke imødekommes af en forøget tilførsel af ressourcer, kan konsekvensen meget vel blive voksende ventelister på disse sygehuse, hvilket næppe er i patienternes interesse. Sygehuspersonalets reaktioner på offentliggørelse kan også føre til en uhensigtsmæssig belastning af visse sygehuse, hvis negativ omtale af sygehuse fører til personaleflugt, som det har været observeret i New York State (10).

Derved sættes man i et dilemma, når man på den ene side håber, at sygehuspersonale, patienter og praktiserende læger reagerer på offentliggørelse af indikatorer, men på den anden side samtidig håber, at ikke alt for mange vil reagere. Samtidig skal man sikre, at kommende patienter kan forholde sig til kvalitetsindikatorer, uden at det skaber unødig frygt eller fjerner tilliden til sygehusvæsenet. En svensk undersøgelse har vist, at hvis en patient blev indlagt på et sygehus med en offentliggjort dårlig kvalitet, ville patienten opleve utryghed ved det at blive indlagt på sygehuset. Samtidig fremgik det, at hvis man var rask, søgte man ikke informationer, og var man syg, var man ofte ikke i stand til at indhente oplysninger om, hvor man kunne få den bedste behandling og pleje (15).

En anden skadelig effekt af patienters og praktiserende lægers ændrede adfærd opstår, hvis de enkelte sygehuse prioriterer behandlingen af de sygdomsgrupper, som indikatorerne vedrører, på bekostning af sygdomsgrupper, som ikke evalueres ved de valgte indikatorer. Det problem kan naturligvis imødegås ved at inkludere alle sygdomsgrupper, patientgrupper og aspekter af et behandlings- og plejeforløb, men et så ambitiøst indikatorsystem er næppe realistisk at iværksætte. For hver enkelt indikator kræves nemlig ofte betydelige ressourcer til udvikling, dataindsamling, validering, databearbejdning og formidling af data. Desuden vil man udelade sjældne sygdomme fra et indikatorsystem som følge af den begrænsede mængde data, der vil være til rådighed for sådanne sygdomme, og den deraf følgende store statistiske usikkerhed på vurderingen af data.

Mange af de indikatorer, som er afprøvet i udlandet, måler dødelighed under indlæggelsen (16), og man kunne derfor frygte, at nogle sygehuse ville stræbe mod en tidligere udskrivelse af patienter for at undgå død på sygehuset. Denne tendens kan imødegås ved at registrere fx 30-dagesdødelighed i stedet for dødelighed under indlæggelse. Disse oplysninger kan i øvrigt rutinemæssigt relativt let fremskaffes i Danmark ved samkøring af Landspatientregisterdata med det Centrale Person Register.

Der er også en bekymring for, om offentliggørelse af indikatorer vil føre til, at sygehuse fravælger de mest syge patienter. Idet indikatorerne risikojusteres, vil sådan en adfærd kunne tænkes at opstå, hvis tiltroen til risikojusteringen er mangelfuld, eller hvis det antal af den pågældende type patienter, som sygehuset behandler, er for lille til at kunne give et reelt billede af kvaliteten. Spørgeskemaundersøgelsen fra Pennsylvania blandt hjertekirurger og kardiologer peger på, at hovedparten (63%) af hjertekirurgerne er mindre villige til at operere alvorligt syge patienter med et behov for operation, end de var dengang, der ikke blev offentliggjort indikatorer, og 59% af kardiologerne oplevede, at det var blevet sværere at finde hjertekirurger, der var villige til at operere den slags patienter (12).

Om denne uvillighed faktisk gør det sværere for alvorligt syge patienter at blive opereret, fortæller spørgeskemaundersøgelsen intet om. Resultaterne fra New York State tyder på, at offentliggørelsen ikke har ført til en selektion af patienterne (8, 17). Tværtimod er der observeret et fald i antal New York State-borgere, der får en bypassoperation uden for New York State (10, 17), samtidig med at den gennemsnitlige sygdomssværhedsgrad og antallet af patienter med bidiagnoser er steget siden offentliggørelsen blev foretaget første gang (13).

At den registrerede sygdomssværhedsgrad i gennemsnit er steget siden indførelsen af indikatorsystemet, er dog ikke nødvendigvis et udtryk for, at sværhedsgraden af sygdommen(e) også er steget i den pågældende periode. Eksempelvis steg registreringen af hjerteanfald i New York State fra 1,7% i 1989, hvor offentliggørelsen af dødeligheden begyndte, til 7,6% i 1991 (18). En så kraftig stigning på kun to år skyldes næppe en stigning i hjerteanfald alene, men må nok primært tages som udtryk for, at registreringspraksis har ændret sig. I risikojusteringen indgår sygdomssværhedsgrad som et centralt element, og en mangelfuld registrering af sværhedsgraden vil alt andet lige føre til et lavere risikojusteret kvalitetsniveau, idet de behandlede patienter faktisk har været mere syge, end registreringen har givet udtryk for. Det kan meget vel have ført til, at registreringer foretages med større omhu, end det hidtil har været tilfældet. Man kan naturligvis også forestille sig, at registreringerne bevidst er blevet manipulerede, så de behandlede patienter optrådte som værende mere syge i registeret, end de faktisk var. Det har nemlig den konsekvens, at behandlingsresultaterne herved fremstår som relativt bedre.

For at imødegå de nævnte problemer har New York State i 1992 etableret et auditsystem til at kontrollere de indsendte registreringer (8). I auditsystemet kontrolleres en stikprøve af de indrapporterede registreringer med journaloplysninger. Hvis journaloplysningerne afviger for meget fra registreringerne uden nogen gyldig grund, bliver sygehuset bedt om at omkode deres oplysninger. Der har kun været konstateret enkeltstående tilfælde, hvor omkodninger har været nødvendige (8).

Fører offentliggørelse af indikatorer til kvalitetsforbedringer?

Tilbage står så spørgsmålet om, hvorvidt de gavnlige effekter i form af ændret adfærd hos patienterne, sundhedspersonalet mv. og et større fokus på kvalitetsspørgsmål opvejer de skadelige effekter - eller med andre ord: Fører offentliggø relse af resultater fra indikatorer alt i alt til forbedret kvalitet i behandlingen?

Offentliggørelse kan føre til bedre kvalitet, hvis det faktum, at resultaterne bliver offentliggjort, fører til en større grad af interesse for indikatorer og kvalitetsforbedringer hos det kvalitetsansvarlige sundhedspersonale. At dette er tilfældet, er der en vis evidens for (8). Endvidere er der gode eksempler på, at arbejdet med at finde kvalitetsbrister efter et dårligt indikatorresultat og udbedre kvalitetsbristerne kan føre til forbedrede resultater (8, 19).

Studier af dødeligheden i forbindelse med bypassoperationer i hjertet i New York State har vist, at dødeligheden er faldet signifikant siden indførelsen af indikatorsystemet, og det synes særlig at være kirurger med mange operationer samt nyansatte kirurger, der har bidraget til dette fald (10, 20). Desuden er mange kirurger med få operationer og høje dødelighedstal ophørt med at operere (9, 10). Om disse resultater kan tages som et direkte udtryk for en kvalitetsforbedring, er stadig omdiskuteret, idet det har vist sig, at dødeligheden i forbindelse med bypassoperationer i hjertet generelt er faldende i USA - også i stater, der ikke har noget indikatorsystem, som fx Massachusetts (21). Dog har faldet i New York været signifikant større, og New York har nu den laveste dødelighed (baseret på 1992-tal) af alle amerikanske stater (17).

Kan man undlade at offentliggøre kvalitetsresultater?

I diskussionen om, hvorvidt indikatorer skal offentliggøres eller ej, må det vurderes, om man overhovedet kan undlade at offentliggøre indikatorerne. Der vil givetvis komme et pres for offentliggørelse fra flere sider. Igen er det lærerigt at vende blikket mod USA og betragte det forløb, der førte til offentliggørelse af indikatorer i New York State.

I 1990 udkom den første artikel med dødelighedsindikatorer i forbindelse med hjertekirurgi i New York State. I artiklen var sygehusenes identitet kodet, så kun resultaterne var offentliggjort, men ikke hvor det enkelte resultat hørte hjemme. Allerede dagen efter at artiklen udkom, fik pressen fat i sygehusenes identitet, og i 1991 udnyttede en avis the freedom of information act til at få offentliggjort tallene for de enkelte kirurger (8).

Hvad angår åbenhed i den offentlige forvaltning er der mange lighedspunkter mellem Danmark og USA, og at noget lignende vil ske herhjemme, kan ikke udelukkes. Man kan naturligvis undlade at lave registreringer på kirurgniveau, dermed vil man ikke kunne beskyldes for at tilbageholde information. Men hele ideen med et indikatorsystem er at finde forskelle mellem de enkelte afdelinger og sygehuse, så registreringer på sygehus-/afdelingsniveau er en selvfølge. I forbindelse med patientklagesager, erstatningssager eller ved pres fra nyhedsmedierne vil man muligvis kunne blive tvunget til at offentliggøre visse resultater. Presset kan også komme på det enkelte amt eller sygehus for at offentliggøre deres egne resultater, hvilket kan føre til en dominoeffekt og derved en komplet offentliggørelse af resultaterne. Så sent som i efteråret 1999 opstod den skitserede situation i forbindelse med læseprøver i folkeskolen. Her kom der fra pressen og fra politisk side først et krav om, at Danmarks Pædagogiske Institut skulle offentliggøre resultaterne, og da dette krav ikke blev indfriet, kom der et pres på de enkelte kommuner for at offentliggøre resultaterne for skolerne inden for kommunegrænsen.

Det er meget tænkeligt, at det politiske pres vil blive større på sygehusområdet for på den måde at gøre det frie sygehusvalg til et informeret valg. For at imødekomme et eventuel krav om offentliggørelse bør man, allerede inden indikatorerne er udviklet, diskutere hvordan og i hvilken form, offentliggørelse skal ske. Man får derved mulighed for selv at vælge, om det skal være på amts-, sygehus-, afdelings- eller personniveau, man offentliggør, og får mulighed for at gennemtænke konsekvenserne af de forskellige typer af offentliggørelse.

Et andet spørgsmål er, om det overhovedet kan forsvares at tilbageholde information om sygehusenes kvalitet for patienterne. Her er det igen et spørgsmål om, hvorvidt offentliggørelsen vil gavne eller skade. Hvis kvaliteten kan tænkes at lide som følge af offentliggørelse, bør man overveje, om det overhovedet er rigtigt at udvikle indikatorer og derefter offentliggøre resultaterne, hvis man risikerer, at patienterne nogle steder får en dårligere behandling og pleje.

Diskussion

Artiklen sætter fokus på kliniske resultatindikatorer, selv om der findes andre typer af indikatorer, der er under udvikling eller allerede benyttes i Danmark. I de seneste år har sygehuse, amter etc. rutinemæssigt offentliggjort patienttilfredshedsmålinger, selv om der er meget store uafklarede validitetsspørgsmål i forbindelse med patienttilfredshed (22, 23), og Sundhedsministeriet har offentliggjort procesmålinger i form af ventelister for operationer. Rimeligheden i at offentliggøre disse typer af indikatorer kan naturligvis også diskuteres, men denne diskussion har aldrig kunnet sætte sindene i kog i samme grad, som offentliggørelse af kliniske resultater kan. Selv om offentliggørelse af resultater fra kliniske indikatorer er mere kontroversielt, bør formålet med at offentliggøre være fælles for alle typer af indikatorer, nemlig at synliggøre og forbedre kvaliteten af behandlingen.

Om dette formål er blevet opfyldt i New York State og Pennsylvania kan diskuteres. Der er ikke publiceret randomiserede studier, der kan belyse forskellen mellem at offentliggøre resultaterne og kun at videregive resultaterne til internt brug (24). De publicerede observationelle undersøgelser kommer frem med modstridende konklusioner, og der vil givetvis komme helt nye aspekter frem i de fremtidige undersøgelser, men trods alt giver studierne et fingerpeg om, at de skadelige effekter nok ikke er helt så omfattende, som man kunne frygte. Erfaringerne med offentliggørelse af indikatorer uden for USA er sparsomme. I Europa og Australien er det hovedsageligt procesindikatorer, såsom ventelistestatistikker og patienttilfredshedsmålinger, der er blevet offentliggjort, og effekten heraf kan næppe sammenlignes med effekten af at offentliggøre resultatindikatorer såsom dødelighed (25).

Erfaringer fra USA kan som nævnt ikke direkte overføres til den rammestyrede danske sygehussektor med fri og lige adgang for alle borgere, men det er alligevel interessant at studere de amerikanske erfaringer, idet formålet med at offentliggøre indikatorerne i USA er det samme, som det bør være i Danmark. Mekanismerne, hvormed dette formål søges opfyldt, er også de samme, nemlig ved at motivere til at der sættes fokus på kvalitetsproblemer som følge af en ændret adfærd hos patienter, henvisende læger, sygehuspersonale mfl.

Det er tidligere nævnt, at de ressourcer, der er nødvendige til udviklingen af indikatorer og bearbejdning af data er store, ligesom processen tager lang tid. Ressourcerne kunne formentlig nedsættes betydeligt ved internationalt samarbejde og brug af fælles indikatorer. Kirurgiprojektet i Center for Evaluering og Medicinsk Teknologivurdering har vist, at det kan lade sig gøre at indhente vigtig information om aspekter af kvaliteten af kirurgiske operationer både hurtigt, simpelt og billigt ved brug af allerede eksisterende registerdata. For en nærmere gennemgang af metoden henvises til (26). Vedrørende gastroøsofageal refluks-operationer fandt man fx, at de blev foretaget på 24 afdelinger, selv om Sundhedsstyrelsen anbefaler, at operationerne samles på fem afdelinger (27). Baggrunden for anbefalingen af centraliseringen er bl.a., at mortaliteten og morbiditeten er forhøjet efter denne operation, hvis kirurgen ikke er tilstrækkeligt rutineret (28). Et andet eksempel fra kirurgiprojektet er, at indlæggelsestiden ved hysterektomioperationer varierer fra 3 ti

Referencer

  1. Sundhedspolitisk redegørelse 2000. København: Sundhedsministeriet, 2000.
  2. Mainz J, Kjærgaard J, Knudsen JL. Overvågning af kvaliteten af sundhedsvæsenets ydelser ved hjælp af indikatorer. Ugeskr Læger 1999; 161: 5536-42.
  3. Aftale om amternes økonomi for 2002. Aftaler om den kommunale økonomi for 2002. København: Finansministeriet, 2001.
  4. Coles J. Public disclosure of health care performance reports: a response from the UK. Int J Qual Health Care 1999; 11: 104-5.
  5. Mebius C. Public disclosure of health care performance reports: comments and reflections from Sweden. Int J Qual Health Care 1999; 11: 102-3.
  6. Nielsen PH. Kvalitetsmålinger skader patienterne. Sygeplejersken 2001; 101: 12-6.
  7. Endahl LA, Utzon J. Ranglister over sygehuses kvalitet - er de vejledende eller vildledende? Ugeskr Læger 2002; 164: 4385-8.
  8. Chassin MR, Hannan EL, DeBuono BA. Benefits and hazards of reporting medical outcomes publicly. N Engl J Med 1996; 334: 394-8.
  9. Leatherman S, McCarthy D. Public disclosure of health care performance reports: experience, evidence and issues for policy. Int J Qual Health Care 1999; 11: 93-8.
  10. Marshall MN, Shekelle PG, Leatherman S, Brook RH. The public release of performance data: what do we expect to gain? JAMA 2000; 283: 1866-74.
  11. Hibbard JH. Use of outcome data by purchasers and consumers: new strategies and new dilemmas. Int J Qual Health Care 1998; 10: 503-8.
  12. Schneider EC, Epstein AM. Use of public performance reports: a survey of patients undergoing cardiac surgery. JAMA 1998; 279: 1638-42.
  13. Schneider EC, Epstein AM. Influence of cardiac-surgery performance reports on referral practices and access to care. N Engl J Med 1996; 335: 251-6.
  14. Hannan EL, Stone CC, Biddle TL, DeBuono BA. Public release of cardiac surgery outcomes data in New York: what do New York state cardiologists think of it? Am Heart J 1997; 134: 1120-8.
  15. Offentliggärende av vårdresultat: en studie om vad svensken skulle veta om vårdens kvalitet och resultat. 417. SPRI rapport. Stockholm: Hälso- och sjukvårdens utveklingsinstitut, 1996.
  16. Udvalget for kvalitetsmåling i sygehusvæsenet. København: Sundhedsstyrelsen, 2000.
  17. Peterson ED, DeLong ER, Jollis JG, Muhlbaier LH, Mark DB. The effects of New York's bypass surgery provider profiling on access to care and patient outcomes in the elderly. J Am Coll Cardiol 1998; 32: 993-9.
  18. Green J, Wintfeld N. Report cards on cardiac surgeons. N Engl J Med 1995; 332: 1229-32.
  19. Dziuban SW, McIlduff JB, Miller SJ, Dal Col RH. How a New York cardiac surgery program uses outcomes data. Ann Thorac Surg 1994; 58: 1871-6.
  20. Hannan EL, Kumar D, Racz M, Siu AL, Chassin MR. New York State's Cardiac Surgery Reporting System: four years later. Ann Thorac Surg 1994; 58: 1852-7.
  21. Jencks SF. Clinical performance measurement - a hard sell. JAMA 2000; 283: 2015-6.
  22. Bruster S, Jarman B, Bosanquet N, Weston D, Erens R, Delbanco TL. National survey of hospital patients. BMJ 1994; 309: 1542-6.
  23. Ware JE. Effects of acquiescent response set on patient satisfaction ratings. Med Care 1978; 16: 327-36.
  24. Marshall MN, Shekelle PG, Leatherman S, Brook RH. Public disclosure of performance data: learning from the US experience. Qual Health Care 2000; 9: 53-7.
  25. Collopy BT. Public disclosure of health care performance reports: what do we lose in giving information? Int J Qual Health Care 1999; 11: 99-101.
  26. Utzon J, Olsen PS, Bay-Nielsen M, Andersen KB, Christensen B, Endahl LA et al. Vurdering af kirurgiske ydelser i Danmark. Ugeskr Læger 2001; 163: 5662-4.
  27. Specialeplanlægning og lands- og landsdelsfunktioner i sygehusvæsenet. København: Sundhedsstyrelsen, 1996.
  28. Holte K, Bay-Nielsen M, Utzon J, Stockel M, Funch-Jensen PM, Kehlet H. Operation for gastroesofageal reflux i Danmark 1997-1999. Ugeskr Læger 2001; 163: 5658-61.
  29. Møller C, Kehlet H, Bay-Nielsen M, Utzon J, Ottesen BS. Hysterektomi i Danmark: en analyse af postoperativ hospitalisering, morbiditet og genindlæggelse. Ugeskr Læger 2002 (i trykken).
  30. Grilli R, Freemantle N, Minozzi S, Domenighetti G, Finer D. Mass media interventions: effects on health services utilisation (Cochrane Review). I: The Cochrane Library, Issue 4, 2001. Oxford: Update Software.
  31. Hannan EL, Kilburn H, Racz M, Shields E, Chassin MR. Improving the outcomes of coronary artery bypass surgery in New York State. JAMA 1994; 271: 761-6.
  32. Spiegelhalter D. Surgical audit: statistical lessons from Nightingale and Codman. J Royal Statis Soc A 1999; 162: 45-58.