Skip to main content

Offentliggørelse af informationer om kvalitet i sundhedsvæsenet

Projektkoordinator, sygeplejerske MPA Jytte Burgaard & Steen Werner Hansen på vegne af Det nationale råd for kvalitetsudvikling i sundhedsvæsenet

2. nov. 2005
17 min.

Målgruppe:

  • Offentliggørelse af informationer om kvalitet i sundhedsvæsenet er et aktuelt emne at debattere for både fagprofessionelle og borgere, herunder patienter, pårørende og patientforeninger, samt for embedsmænd og politikere. Holdningerne vil få stor betydning for, hvordan fagprofessionelle på den mest hensigtsmæssige måde kan kommunikere informationer om kvalitet i ydelser og resultater til både brugere og offentlighed. Denne artikel henvender sig hovedsageligt til de faglige fora, embedsmænd, politikere og patientforeninger.

Offentliggørelse af informationer om kvalitet i sundhedsvæsenet har længe været en del af samfundsdebatten, hvor både borgere, patienter, patientforeninger, embedsmænd, politikere og sundhedsprofessionelle har været aktive. Borgernes lettere adgang til Internettet har ligeledes intensiveret denne debat.

Mange sygehuse og praktiserende læger har udarbejdet hjemmesider på Internettet, hvor der kan hentes gode og brugbare informationer om behandling og pleje. Disse informationer kan også danne grundlag for en konstruktiv dialog med patienter og pårørende. Informationer om sundhed og sygdom kan desuden hentes i aviser, fagblade og fjernsyn.

Der er imidlertid opstået et stigende behov for, at patienter, pårørende og borgerne samt fagprofessionelle kan modtage offentliggjorte informationer om kvalitet på en mere generel, struktureret og fyldestgørende måde. Løsningen af en sådan opgave vil stille store krav til de fagprofessionelle. Det vil tage tid og kan kun løses med udvikling af de rette værktøjer og en fælles holdning til spørgsmål om offentliggørelse.

Det nationale råds holdninger til emnet, samt anbefalinger:

  • Det nationale råds overordnede hensigt med artiklen er, at hele spørgsmålet om offentliggørelse bliver drøftet indgående på debatmøder og gennem medier med henblik på, at der bredt bliver sat fokus på offentliggørelse af informationer om kvalitet inden for og mellem fagkredse, de centrale myndigheder og patientforeninger. Det er rådets holdning, at der skal udformes en offentliggørelses- og brugerpolitik, og rådet vil i løbet af det kommende år konkret tage initiativ til, at der afholdes en konference om emnet.

Problemstillinger og spørgsmål i forbindelse med offentliggørelse

Der har været en tilbageholdenhed hos de sundhedsprofessionelle i forhold til offentliggørelse af informationer om behandlingens kvalitet på det enkelte sygehus eller fx i lægepraksis, men denne tendens synes nu at have ændret sig.

Nogle af barriererne for offentliggørelse har været spørgsmål om, hvilke informationer der skulle offentliggøres, og hvordan formidlingen skulle foregå. De faglige data, der fx er registreret i de kliniske kvalitetsdatabaser i 1990'erne, havde kvalitetsudvikling inden for det lægefaglige område og klinisk forskning som hovedformål. Bredere information til personer uden for de faglige kredse var ikke indtænkt.

Der har derfor været en naturlig bekymring for, om patienterne ville blive mere vildledt end vejledt ved at få ukommenterede data præsenteret på fx Internettet, og der har været en bekymring hos de fagprofessionelle mod offentliggørelse af informationer, der kunne være personhenførbare.

I en undersøgelse omhandlende kliniske kvalitetsdatabaser i Danmark i 2000 (1) har Sundhedsstyrelsen forespurgt organisationen bag databaserne om holdningen til offentliggørelse af ydelser og resultater i databaserne. Ud af 57 kliniske kvalitetsdatabaser har organisationen bag 53 databaser (93%) svaret ja til offentliggørelse eller ja med visse forbehold, hvilket ifølge Sundhedsstyrelsen er en markant stigning i forhold til en lignende undersøgelse i 1999 (2). Denne tendens kan ses som et tegn på, at den offentlige og faglige debat har flyttet grænser hos de fagprofessionelle, og at der er en større parathed til at arbejde med problemstillingerne.

På årsmødet i Dansk Selskab for Kvalitet i Sundhedssektoren, januar 2001 (3) var der fra tilhørere ønsker fremme om, at borgere skal have adgang til alle tilgængelige informationer om kvalitet.

For øjeblikket er der ikke større undersøgelser i Danmark, der kan bekræfte, hvilke ønsker og behov borgerne har for viden om kvalitet i behandling og pleje inden for sygehussektoren. I 2000 blev der i otte lande i EU, herunder Danmark, udført en spørgeskemaundersøgelse om patienters tilfredshed med den praktiserende læge (4).

I undersøgelsen indgik der for hvert land 60 patienter, som besøgte mindst 12 forskellige praktiserende læger. I alt 3.540 patienter (55%) responderede på undersøgelsen, og de emner, der havde størst betydning i alle landene var: At der er tid nok under konsultationen, at der er hurtig konsultation ved akutte behov, at der er fortrolighed vedrørende informationer, at patienterne får alt det at vide, de har brug for i forhold til deres sygdom, at patienterne kan føle sige frie til at fortælle om deres problemer, at aftaler kan indgås hurtigt, at de praktiserende læger deltager i kurser regelmæssigt, og at de praktiserende læger har forebyggelse som tilbud.

Offentliggørelse af informationer om kvalitet - en sundhedsfaglig og politisk vinkel

I forbindelse med økonomiaftalen for 2000 er det aftalt mellem regeringen og sygehusejerne, at alle landets sygehuse inden udgangen af 2002 skal offentliggøre indikatorer for den kliniske kvalitet, der er alment forståelige (5), og sundhedsforvaltningscheferne har i et notat af maj 2001 lagt op til, at der skal udvikles fælles standarder på landsplan, hvor afdelinger og sygehuse skal være forpligtede til at offentliggøre resultater af kvalitetsvurderingerne (6). I økonomiaftalen mellem amterne og regeringen for 2002 (7) indgår arbejdet med udvikling af en kommende fælles dansk model for kvalitetsvurdering, som alle landets sygehuse skal evalueres i forhold til. Her vil vægten ligeledes blive lagt på vurderinger af, om standarderne for god kvalitet er nået.

Disse centrale tilkendegivelser og forventninger indikerer, at der fortsat skal ske udvikling og formidling af kvalitetsstandarder og indikatorer, og at disse vil blive et omdrejningspunkt i kommende offentliggørelser om kvaliteten på sygehuse.

Offentliggørelse af informationer om kvalitet er debatteret i Det nationale råd for kvalitetsudvikling, og i dag er den generelle holdning, at informationer om kvalitet skal formidles i forhold til afdelinger og sygehuse, dels med henblik på tværfaglig kvalitetsudvikling i sundhedsvæsenet og dels med henblik på borgerinformation.

I Det nationale råd for kvalitetsudvikling og inden for fagkredse er der bred tilslutning til, at data altid skal vurderes og vurderes før de formidles offentligt. De skal afspejle kvaliteten af den sundhedsfaglige ydelse, være statistisk holdbare og entydige. De skal være professionelt tværfagligt accepterede, og de skal være tidstro inden for visse rammer. Informationerne skal ligeledes udgives i en form, der ikke kræver særlig faglig indsigt, og de skal være let tilgængelige fx gennem dagspresse og Internet.

I forhold til spørgsmål om, hvilke informationer læger, sygeplejersker, fysioterapeuter, jordemødre og andre fagprofessionelle ønsker at offentliggøre vedrørende kvalitet i sundhedsvæsenet, er holdningerne mere spredte, og det er ligeledes et åbent spørgsmål, om data altid skal fortolkes, eller om data fx skal følges af en vejledning, som sætter borgeren i stand til selv at fortolke data.

Der er allerede iværksat landsdækkende projekter, som har til formål at udvikle og implementere standarder og kriterier, og disse projekter vil kunne give et fingerpeg om, hvilken retning offentliggørelsesstrategier bevæger sig i.

Det Nationale Indikatorprojekt er et projekt, som arbejder med dokumentation af kvaliteten af indsatsen i forhold til valgte sygdomsgrupper tværfagligt og på tværs af sygehuse (8). Organisationen bag projektet har tilsluttet sig, at informationerne offentliggøres med undtagelse af kvaliteten af den enkelte fagprofessionelles virksomhed.

Den gode Medicinske Afdeling er et andet landsdækkende projekt, der ligeledes arbejder med dokumentation og implementering af specificerede kvalitetsparametre, standarder og indikatorer. I dette projekt er det ligeledes tilkendegivet, at informationer om kvaliteten skal offentliggøres - dog ikke på fagpersonniveau (9).

Udenlandske erfaringer

I USA har der gennem en årrække været offentliggjort informationer om kvaliteten på sygehusene og kvaliteten af den enkelte læges virksomhed. Informationerne udgives gennem såkaldte Quality Report Cards, der offentliggøres i aviser og på Internet. Informationerne omhandler forskellige Health Plans, som borgerne har mulighed for at vælge imellem i forbindelse med forsikring ved sygdom. Heri indgår valg af sygehus og valg af læge. Det vil sige, der er almindeligvis både overvejelser om økonomi og kvalitet i forhold til valg af sygehus, hvilket ikke er aktuelt for den enkelte borger i Danmark, der er dækket af sygesikringsordningen (10).

Forventningerne til offentliggørelserne i USA har været store. Der har fx været forventninger om en effektiv markedsøkonomi på sundhedsområdet, hjælp til omkostningskontrol, at informationerne kunne være et redskab til markedsføring og - lidt mindre ambitiøst - at informationerne kunne påvirke beslutningstagerne i forhold til omkostninger. Offentliggørelserne har ligeledes givet forventninger om, at ansvarligheden på sygehusene blev sikret, at der blev foretaget vurderinger af den enkelte læges indsats, at der skete kvalitetsforbedringer på sygehusene, samt at det ville medføre et mere kvalificeret valg af Health Plan, som samtidig kunne skabe konkurrence mellem de forskellige planer. Disse forskellige formål har gjort det vanskeligt at finde fælles evalueringskriterier for offentliggørelserne, og det er et område, der i dag har stor bevågenhed i USA både i forhold til målemetoder og resultater (11).

I forbindelse med offentliggørelse af informationer i USA om den enkelte læge ses der en tendens til, at patienter med dårlige odds kører rundt blandt hospitalerne, fordi fx kirurger ikke vil risikere minuspoint, der offentliggøres (10). I en dansk artikel (12) advares der om - med henvisning til de amerikanske forhold - at også i Danmark kan de svageste patienter risikere at blive skubbet til side, hvis sundhedspersonalet får offentlige karakterbøger på personniveau.

På grund af stigende usikkerhedsmomenter ved vurdering af kvalitet på fagpersonniveau har californiske hospitaler på det seneste valgt at offentliggøre informationer om kvalitet i forhold til sygehuse uden oplysninger om den enkelte fagprofessionelle. Usikkerhedsmomenterne er bl.a. risikovurderinger, få operative udførelser, politiske præferencer, patientfortrolighed og datapålidelighed (13).

På ISQua-konferencen om kvalitetsudvikling afholdt i oktober måned 2001 var der et indlæg fra England om offentliggørelse af informationer om kvalitet i sundhedsvæsenet (14, 15). I England er der få års erfaringer med offentliggørelse af indikatorer for kvalitet på sygehuse og herunder at give point for kvalitet i en rangordning. Hensigten med offentliggørelse er at øge sygehusenes ansvarlighed, at forbedre kvaliteten og at informere borgere om sundhedsvæsenet. I England tyder erfaringerne på, at offentliggørelse af informationer har indvirkning på kvalitetsniveauet, og at det reducer fejl og »næsten fejl«.

I indlægget blev det påpeget, at det havde betydning, at man ved offentliggørelse gør sig hensigten med offentliggørelse klar, at der er bevidsthed om, hvem målgruppen er, og hvilke forventninger disse har. Offentliggørelse betyder udvikling over tid, og fagprofessionelle skal være deltagere i udviklingsprocessen. Beslutningstagere skal være forberedt på, at processen kan koste penge, og at der kan opstå utilsigtede konsekvenser af offentliggørelse af informationer om kvalitet. Den enkelte organisation skal være forberedt på at kunne give undervisning og vejledning til de sundhedsprofessionelle eller afdelinger, der klarede sig mindre godt på den offentlige pointliste.

Sammenfatning

Disse input til diskussionen om offentliggørelse af informationer om kvalitet kan bl.a. give et fingerpeg om, at der overordnet er behov for stillingtagen til, hvorledes informationer skal formidles, og på hvilket niveau der generelt bør formidles. Her tænkes specielt på informationer om den enkelte fagprofessionelles ydelser og resultater, men også på detaljeringsgrad og fortolkningsstrategi.

Det kan af erfaringerne fra USA og England ses, at det ligeledes er væsentligt, at der overordnet tages stilling til, hvilke formål og mål der er med offentliggørelse af informationer om kvalitet og hvem målgruppen er, således at det bliver muligt at evaluere bestræbelserne på et struktureret og kvalitativt grundlag. De centrale udmeldinger i Danmark om, at kvalitet skal ses som information til borgerne og i forhold til kvalitetsudvikling på sundhedsområdet, er gode pejlemærker, der bør fastholdes, så der ikke, som det kan ses i USA, køres i forskellige retninger uden overordnet fælles holdning til spørgsmålene.

Offentliggørelse af informationer om kvalitet - en patient og borgervinkel

Der er i dag viden om, at patienter har brug for information på forskellig måde både før, under og efter indlæggelse og den skriftlige og mundtlige information, der gives i forbindelse med indlæggelse er god, men kan gøres bedre endnu. Den landsdækkende patienttilfredshedsundersøgelse, som blev offentliggjort i begyndelsen af 2001 (16) viste, at information er en vigtig faktor for patienterne men også, at 16% af de adspurgte patienter mente, at informationen kunne have været bedre.

I en svensk undersøgelse fra 1996 blev 99 personer (patienter, pårørende, sundhedspersonale og raske borgere) interviewet om, hvilke informationer om plejens og behandlingens kvalitet og resultater de syntes, det kunne være godt at have viden om i forbindelse med en indlæggelse (17). Svarene viste, at det var interpersonelle sammenhænge mellem patient, pårørende og fagprofessionelle, det specielt havde betydning at få viden om, og at tryghed og tillid var væsentlig i denne sammenhæng.

Den svenske undersøgelse kan give et fingerpeg om, at information, kommunikation og omsorgen - de bløde værdier - i en afdeling også har betydning i forhold til, hvilke informationer der bør offentliggøres fx i forbindelse med en indlæggelse.

Den svenske undersøgelse viste også, at patienter, pårørende og raske borgere generelt ikke vidste meget om kvalitet i behandling og pleje eller hvilke behandlingsresultater, der var opnået. De gav udtryk for, at var man rask, søgte man ikke informationer, og var man syg, var man ikke altid kapabel til at indhente informationer om, hvor den bedste behandling og pleje var til stede.

De interviewede i den svenske undersøgelse pegede ligeledes på, at behandlings- og plejeresultater beror på flere faktorer, som ikke kan vises i statistikker om kvalitet i sundhedsvæsenet. Personerne mente ikke, at tal i sig selv sag de noget om forbedringer i behandlingen og plejen, og der kunne være usikkerhed om, hvilken viden der i øvrigt var nødvendig for at tolke informationen. En procentsats ville ikke sige noget om helheden af indsatsen eller om, hvor den enkelte patient ville »stå« i forhold til overlevelse. Hvis en person kom til skade ved et sygehus med en dårlig statistik på kvalitetsområdet, ville den tilskadekomne opleve utryghed og ubehag ved at blive indlagt på sygehuset.

De interviewede mente som modvægt, at man kunne gøre åbenheden omkring kvalitet og tilliden i offentligheden større ved at berette positivt om behandlingen og plejen gennem cases og reportager. Et sygehus skulle vise handlekraft og forandringsvilje gennem beskrivelserne. Der var dog den brede opfattelse blandt de interviewede, at statistikker kunne virke positivt på de fagprofessionelle selv, idet det kunne lægge et pres på kvalitetsbestræbelserne og udgøre en intern kontrol.

Spørgsmålet er, om disse forhold er anderledes i Danmark? Der er ikke i dag gennemført større undersøgelser, der kan sige noget om disse aspekter, og om det har betydning for den enkelte borger også at have denne viden, når specifik sygdom ikke er aktuel.

Den danske landsdækkende patienttilfredshedsundersøgelse udgivet 2001 (16) viste, at 80,6% af patienterne til planlagt indlæggelse (26% af alle indlæggelser i 1999 (18)) vidste, at de selv kunne vælge, hvilket sygehus de ville indlægges på. 45,6% af disse patienter havde selv valgt sygehus, og dette tal skal ses i forhold til relativt store forskelle mellem amterne/H:S og sygehuse.

I Frederiksborg Amt udføres fx én type behandling generelt på ét af amtets sygehuse, og Rigshospitalet tilbyder typisk en række højtspecialiserede behandlinger, som ikke udføres andre steder. Dette kan ifølge undersøgelsen være en årsag til lave svarprocenter i disse amter/H:S i forhold til andre amter.

Patienternes valg af sygehus var begrundet med nærhed til bopæl, et godt ry, at egen læge havde anbefalet sygehuset, gode erfaringer og kortest ventetid.

Det kan ses, at begrundelserne for valg af sygehus i den landsdækkende patienttilfredshedsundersøgelse omhandler uspecifikke kvalitetsaspekter, som kan sige noget om, hvilke kilder patienter anvender som grundlag for valg, men begrundelserne fortæller også, at der ikke er truffet beslutninger i forhold til specifikke kvalitetsmål. Det må antages, at offentliggørelse af strukturerede informationer om kvalitet i forhold til behandling og pleje vil kunne supplere og kvalificere et sådant valg.

Undersøgelser foretaget i USA viser, at information om Health Plans findes meget væsentlige for borgerne når de spørges, men undersøgelser har ligeledes vist, at der kun ses et lille skift i valg af sygehus, selvom sygehuset får lavere score i forhold til kvalitet (10). Pennsylvania Report Card, som offentliggør informationer om sygehuse og kirurger, der udfører bypassoperationer, samt antal dødsfald ved operationerne, blev således vurderet af patienter gennem en telefonspørgerunde (fire sygehuse i Pennsylvania, hvoraf to sygehuse havde lavere dødsfaldsscore og et sygehus højere score end forventet).

Ud af 474 opererede patienter var 56 patienter vidende om det tilgængelige Quality Report Card på operationstidspunktet, og mindre end en fjerdedel af disse patienter gav udtryk for, at det havde betydning for deres valg af kirurg. De fleste patienter i undersøgelsen kunne ikke forklare deres valg, men da de fik informationer om indholdet af Report Card, gav de udtryk for, at det ville have haft betydning for valg af kirurg, men at de ikke var særligt villige til at betale for det (10).

Andre undersøgelser har vist, at borgere fortsætter med at bruge sygehuse, der har høj dødelighedsrate, og at villigheden til at ændre sygehusene er mere influeret af avishistorier om utilsigtede dødsfald end offentliggjorte risikovurderede dødelighedsscorer (19).

I den amerikanske artikel fra januar 2001 (10) beskrives det, hvorledes patienttilfredshedsundersøgelser CAHPS (Consumer Assessment of Health Plans) i 1997 blev brugt som informationsgrundlag for brugeres valg af Health Plan. Brugerne, som havde forholdt sig til planen og læst informationerne, fandt, at informationerne fra CAHPS havde været de bedste både set i forhold til offentlige og kollegaers uofficielle informationer. De brugere, som havde anvendt CAHPS som beslutningsgrundlag, havde haft større tilbøjelighed til at skifte plan og gav udtryk for at have tillid til, at de havde valgt den bedste plan.

Sammenfatning

Der kan ikke være tvivl om, at patienter og pårørende har brug for kvalificeret information i forbindelse med sygdom og indlæggelse. I USA er der økonomiske forhold med i overvejelser om frit sygehusvalg, hvilket giver borgerne andre incitamenter til valg af sygehus, end det generelt vil være tilfældet i Danmark.

Den landsdækkende patienttilfredshedsundersøgelse viste (16), at danske patienter forholder sig til valg af sygehus, men på andre grundlag end dokumenteret faglig og organisatorisk kvalitet, selvom sygehusene har oprettet informative hjemmesider på Internet. Dette sås også i USA, hvor viden om kvaliteten foreligger. Den menneskelige faktor spiller højst sandsynlig ind her, hvor valg af sygehus kan være uafhængig af nok så gode faglige informationer, og denne faktor vil sandsynligvis også kunne have indflydelse på valg af sygehus hos danske patienter. Det er ligeledes til overvejelse, at der i USA havde været god effekt af informationer om kvalitet gennem andre patienters vurderinger af sygehusenes kvalitet.

På det grundlag kan der ses behov for undersøgelser, der belyser mere konkret, hvilke informationer danske borgere, patienter og pårørende har behov for og ønsker om både i forbindelse med sygdom, men også som almen borgeroplysning om sundhedsvæsenets indsats.

Det nationale råds holdninger til emnet, samt anbefalinger:

  • Der er fortsat en del ubesvarede spørgsmål vedrørende formidling af informationer om kvalitet i sundhedsvæsenet, og nogle af spørgsmålene vil først kunne blive besvaret over tid. Det nationale råd mener imidlertid, at der er skabt en vej for offentliggørelse af informationer om kvalitet gennem arbejdet med kvalitetsdeklarationer og de konkrete brugerundersøgelser i projektet. Det er rådets holdning, at offentliggørelse af informationer om kvalitet bør relateres til afdelings- og sygehusniveau, og at offentliggørelse af informationer om kvalitet også bør omfatte den primære sundhedssektor.

Kvalitetsedeklarationer - et redskab til offentliggørelse af informationer om kvalitet

Udvalget for Kvalitetsmåling i Sygehusvæsenet udgav juni 2000 en rapport (20), som bl.a. anbefalede iværksættelse af et pilotprojekt om kvalitetsdeklarationer. Anbefalingen blev tiltrådt af Sundhedsministeriet, og projektet er i begyndelsen af 2001 etableret gennem Det nationale råd for kvalitetsudvikling med forankring i Sundhedsstyrelsen. Sundhedsministeriet skriver i den sundhedspolitiske redegørelse for 2001 (21), at kvalitetsdeklarationer er et værktøj til formidling af såvel faglig som organisatorisk og patientoplevet kvalitet, og at grundtanken er, at kvalitetsdeklarationer skal fungere som sygehusafdelingers/funktionsbærende enheders vindue til offentligheden.

I pilotprojektet afprøver otte sygehusafdelinger fordelt på fire lægefaglige specialer (intern medicin, kirurgi, psykiatri og obstetrik/gynækologi) en fælles model som grundlag for kvalitetsdeklarering af afdelingerne. Deklarationerne vil blive offentliggjort på Internettet. Kvalitetsaspekterne omhandler bl.a. informationer om behandling og pleje, ventetider, patientfaciliteter, personaleforhold, og dokumenteret kvalitetsniveau i forhold til standarder og kriteri

Referencer

  1. Sundhedsstyrelsen, Kontoret for Medicinsk Informatik. Kliniske kvalitetsdatabaser. Status 2000. Del I og II, juni 2001.
  2. Sundhedsstyrelsen, Kontoret for Medicinsk Informatik. Databaser for klinisk kvalitet. Statusrapport. Marts 1999.
  3. Dansk Selskab for Kvalitet i Sundhedssektoren: Mangfoldighed i kvalitetsudviklingen i sundhedsvæsenet - hvor er vi på vej hen? Årsmøde 12.-13. januar 2001, Hotel Nyborg Strand.
  4. Grol, Richard, Wensing, Michel. Patients evaluate general/family practice. The EUROPEP instrument, juni 2000.
  5. Finansministeriet. Aftale om amternes økonomi for 2000 mellem Regeringen og Amtsrådsforeningen, juni 1999.
  6. Notat om landsdækkende kvalitetspolitik. Amtsrådsforeningen 2001.
  7. Finansministeriet. Aftale om amternes økonomi for 2002 mellem Regeringen og Amtsrådsforeningen, juni 2001.
  8. Det Nationale Indikatorprojekt: Notat vedr. offentliggørelse af kvalitetsdata i sundhedsvæsenet, januar 2001.
  9. Den gode Medicinske Afdeling: Protokol for tværsnitsundersøgelse 2000/2001.
  10. The Journal of the American Medical Association (JAMA). The Public Release og Performance Data, No 14, 12. april 12, 2000.
  11. The Joint Commission on Accreditation of Healthcare Organizations. Providing Consumers with Information About the Quality of Health Plans, juli 2000.
  12. Nielsen PH. Kvalitetsmålinger skader patienterne, Sygeplejersken nr. 4, 2001.
  13. The Journal of the American Medical Association (JAMA). Rolling Down the Runway, The Challenges Ahead for Quality Report Cards, juni 1998.
  14. Marshall, Martin. Public Reporting of Quality of Care Data: Policy, Process, and Pragmatic Issues. Indlæg på 18th International Conference of the International Society for Quality in Health Care (ISQua), Buenos Aires oktober 2001.
  15. Marshal, Martin, Davies, Huw. Public release of information on quality of care: How are health services and the public expected to respond? Journal of Health Services Research & Policy, Vol 6, No 3 2001.
  16. Amterne, H:S, Sundhedsministeriet. Patienternes vurdering af landets sygehuse. Spørgeskemaundersøgelse blandt 34.000 patienter, Landsdækkende patienttilfredshedsundersøgelse år 2000.
  17. Hälso- och sjukvårdens utveklingsinstitut. Offentliggörande av vårdresultat. En studie om vad svensken skulle vilja veta om vårdens kvalitet och resultat, SPRI rapport 417, 1996.
  18. Data fra registre i Sundhedsstyrelsen, Kontoret for Sundhedsstatistik.
  19. Inquiry. Death and reputation: How consumers Acted Upon HCFA Mortality Information, Volume 34, 1997.
  20. Sundhedsstyrelsen. Udvalget for kvalitetsmåling i Sygehusvæsenet, juni 2000.
  21. Sundhedsministeriet. Sundhedspolitisk redegørelse 2001, maj 2001.