Evaluering af kvalitetsforbedringsarbejde er særdeles relevant i en tid med mange nye, store og små, generelle og mere specifikke nationale, regionale og lokale initiativer på vej. Det er vigtigt så hurtigt og effektivt som overhovedet muligt at kunne få sorteret dét, der virker, fra dét, der ikke gør.
»Supposing is good, but finding out is better« [Mark Twain; 1835-1910]
Det er interessant at beskæftige sig med kvalitetsforbedringsarbejde i sundhedsvæsenet i disse år, og der flere ting at glæde sig over —
For det første er det blevet helt tydeligt, at man på alle ledelsesniveauer i sundhedsvæsenet, og især helt oppe på broen på supertankeren, har skubbet New Public Management navigationsudstyret lidt til side og har grebet roret for at dreje kursen over mod kvaliteten af patientbehandlingen, og især forsøger at pejle efter hvad patienterne foretrækker, og hvordan patienterne oplever at rejse med skibet.
For det andet har vi de seneste 5-10 år fået betydeligt bedre indsigt i, hvordan kvalitetsforbedringsarbejde i et komplekst, adaptivt socioteknisk system som sundhedsvæsenet [1] bedst designes og implementeres for at virke efter hensigten. Det videnskabelige grundlag på området er ekspanderet med en imponerende hastighed [2-7], og har medført en efterlyst professionalisering og evidensbasering af forbedringsarbejdet [8].
Og for det tredje, og det hænger tæt sammen det foregående [9], er der udviklet en langt større forståelse for betydningen af at evaluere kvalitetsforbedringsarbejde, dvs. at søge svar på det naturlige spørgsmål: Virker det så? Det er et spørgsmål især læger gerne vil have svar på, fordi vi er opdragede i et udmærket videnskabeligt paradigme: Vi vil jo gerne se noget evidens.
Evaluering af kvalitetsforbedringsarbejde er særdeles relevant i en tid med mange nye, store og små, generelle og mere specifikke (fx vedrørende patientsikkerhed eller særlige patientgrupper), nationale, regionale og lokale initiativer (aktiviteter, indsatser, projekter) på vej eller undervejs: Det er vigtigt så hurtigt og effektivt som overhovedet muligt at kunne få sorteret dét, der virker, fra dét, der ikke gør.
Der er nemlig en betydelig risiko for, som det er påvist i undersøgelser andre steder [10], at der fx kan udvikle sig alvorlig frustration i de kliniske frontlinjer — hvor meget kvalitetsforbedringsarbejde i sidste ende skal effektueres — hvis de mange forskellige initiativer bliver et uoverskueligt rodsammen af ikke-evalueret skidt og kanel [11]. Det kan især belaste mellemledere (fx afdelingsledelser), som skal balancere mellem på den ene side at sikre den daglige drift i deres ressort, og på den anden side gerne vil (eller skal) involvere sig selv og deres personale i kvalitetsforbedringsarbejde. Som ofte er ganske tids- og resursekrævende [7].
Der findes enormt meget viden om evaluering i al almindelighed, og efterhånden også en masse godt om evaluering af kvalitetsforbedringsarbejde i sundhedsvæsenet. Den viden vil jeg selvsagt ikke forsøge at opsummere i et blogindlæg, men vil slå ned på nogle udvalgte aspekter og diskussioner af emnet, baseret på et par dusin gode publikationer fra det seneste år: Ting der har fået mig til at tænke nyt.
For folk der ikke orker læse videre herfra, men alligevel gerne vil vide lidt mere om emnet, kan jeg varmt anbefale The Health Foundations lille overskuelige publikation fra 2015 — »Evaluation: what to consider«.
Det forekommer ikke læger hverken besynderligt eller overraskende, at man bør indbygge grundlaget for en evaluering i selve designet af et tiltænkt forbedringsarbejde, dvs. at man helt fra starten opstiller nogle klart definerede mål for, hvad arbejdet håbes at kunne medføre. Og etablerer et passende system til indsamling og analysering af relevante data, som kan vise, om målene nås: Princippet findes jo fx indlejret i DNA’et for den klassiske randomiserede kliniske undersøgelse [se mere nedenfor].
Jeg faldt over et særdeles udmærket blogindlæg af Louise Thomas på The Health Foundations website i maj, hvori hun reflekterer over dette tema, kort efter at have deltaget i en konference i The UK Evaluation Society.
Hun når frem til tre pointer —
For det første, at en evaluering kan ses som mest kraftfuld, når den understøtter og sætter rammer for læringsaktiviteter.
For det andet, at en evalueringskultur kræver people power.
Og sidst, men ikke mindst: »Perhaps the most important thing we can do to build a culture of evaluation, is to be brave and bold enough to prioritise reflection over doing«.
Eller »Don’t just do something«, som titlen på hendes blogindlæg hedder; eller i min udlægning: Lad være med straks at kyle sadlen på hesten og bare galopere ud over stepperne, eller at »[go] flying by the seat of your pants« [3], men brug god tid på at tænke over, hvor du vil hen (målet), hvordan du har tænkt at nå frem (teorien, metoden), og hvordan du vil sikre dig, at du bevæger dig i den rigtige retning (målinger).
Både ja og nej. Man kan godt sigte efter at bruge grundprincipperne, og bør måske gøre det, men skabelonen (evalueringsmodellen) er vanskelig at bruge i praksis, fordi det fx er svært at randomisere patienter og at blinde aktører i kvalitetsforbedringsprojekter, som typisk er knyttet til grupper (miljøer) og ikke enkeltindivider, og fordi gode evalueringer af kvalitetsforbedringsarbejde oftest kræver brug af mixed methods, dvs. en blanding en kvantitative og kvalitative metoder [10].
Men der findes tilnærmede metoder til formålet, som er værd er kende og kan bruges i nogle sammenhænge [12, 13].
En kompleks intervention i et komplekst, adaptivt socioteknisk system kan lyde som en sikker opskrift på en helt uforudsigelig effekt, dvs. en kaotisk konsekvens: Man kan umuligt regne ud, hvad det ender med.
Men så galt er det nu ikke, for der er nogle fornuftige strategier —
Man skal forstå kompleksiteten af sundhedsvæsenet, og fx afstå fra at anlægge simple tekniske, rationelle, deterministiske og reduktionistiske synsvinkler på mulighederne for at forbedre det, og siden at evaluere effekterne: Der er brug for omhyggelige, teoridrevne og ’tykke’ beskrivelser af virkeligheden: Hvad virker, hvordan, hvorfor, for hvem, i hvilken grad og i hvilken kontekst? [14]
Og flere gode betragtninger af samme skuffe, fx med den afsluttende bemærkning, at »Whatever the resources and timescale, careful thought at the start of a project will pay dividends« [11].
Evalueringer kan i sagens natur blive udfordrende, især hvis man ser på omfattende kvalitetsforbedringsprogrammer i store organisationer, men håbløse er opgaverne aldrig, som en helt dugfrisk, netop publiceret undersøgelse fra England viser [15].
Ja, det er! Og det skyldes kompleksiteten i sundhedsvæsenet og kompleksiteten i dets interaktioner med patienterne [16]. Det er nødvendigt at evaluere forbedringsarbejder i en helhed: Det kan godt være, at det kan lykkes at fikse et eller andet lokalt kvalitetsproblem, men der er altid en risiko for, at en løsning medfører voksende problemer et andet sted i systemet, dvs. at man bare skubber rundt med aben: Hvilket sjældent (eller aldrig) kommer patienterne til gode. Snarere tværtimod.
Jeg har flere gange oplevet, at folk glider af på kritiske spørgsmål til de reelle, dokumenterede (evaluerede) effekter af deres ihærdige kvalitetsforbedringsarbejder med et skuldertræk og en undskyldende bemærkning om at »Nu er dette hér jo ikke raketvidenskab…«, underforstået: Vi har mudret os frem efter bedste evne og det skulle vel være godt nok, ikke?
Nej! Der bliver vendt op og ned på præmisserne: Raketvidenskab er kompliceret, bevares, men trods alt betydeligt lettere at have med at gøre end interventioner i komplekse, adaptive sociotekniske systemer [1, 17].
Så mange som overhovedet muligt: Der er mange gode argumenter for at få alle interessenter i et kvalitetsforbedringsarbejde med omkring bordet, når resultaterne skal evalueres [18].
Jeg faldt for nylig over et interessant studium fra Sverige, hvor man undersøgte (post hoc) patienternes oplevelser af effekterne af implementering af lean-principper og –projekter i en række centre i primærsektoren [19]. Forventningen var, som det jo er knyttet til den grundlæggende idé med lean, at kundernes (in casu: patienternes) tilfredshed med de leverede produkter/services ville forbedres som resultat af indsatsen: Men tænk engang, om ikke de utaknemmelige bæster viste sig at være ligeglade!
Faktaboks
Planlagte eller nyligt søsatte kvalitetsforbedringsprogrammer, -projekter, -indsatser etc. i sundhedsvæsenet, store såvel som små, har en tendens til altid at blive udråbt som næsten sikre succeser, som med stor sikkerhed fx vil kunne redde mange patienters liv og helbred, bedre arbejdsforholdene for et belastet sundhedsfagligt personale og/eller spare penge.
Det er fuldt forståeligt, at man gerne vil have (eller skabe) medvind ved iværksættelsen af kvalitetsforbedringsarbejder, både for at kunne legitimere forbruget af de ekstra resurser den slags uvægerligt kræver, og for at aktivere og/eller stimulere det kliniske frontlinjepersonales helhjertede engagement i arbejdet. Som er et sine qua non for succes, dvs. en kraft uden hvilken alt falder fra hinanden: Som tidligere sagt er kvalitet i sundhedsvæsenet noget, der primært udfolder sig i den kliniske frontlinje, dvs. dér hvor patienterne interagerer med systemet.
Men man skal være varsom med at bruge for meget varm luft til at skabe medvind i kvalitetsforbedringsarbejder, især hvis man vil sikre sig lægers engagement i arbejdet: Vi er opdragede til (eller ligefrem indoktrinerede til), som tidligere nævnt, altid at forholde os kritisk til tingene. Og er tilbøjelige til (…jeg er i hvert fald…) at få en grim smag i munden, hvis et helt splinternyt og uprøvet initiativ udbasuneres som en født succes: Vi vil se dokumentation for effekterne, før vi sænker skuldrene og begynder at se med milde øjne på aktiviteterne.
Professor Mary Dixon-Woods fra University of Cambridge diskuterede fænomenet »konspiratorisk entusiasme« i et foredrag på en temadag den 21-09-2015 i Forskningsnetværk for Patientsikkerhed og Kvalitet i Sundhedsvæsenet om evaluering af komplekse interventioner i sundhedsvæsenet, med reference til Donald T. Campbell (1916-1996). Hun kaldte også fænomenet »The lovely baby syndrome«, med henvisning til nybagte forældres oftest lidet objektive (endsige kritiske) bedømmelser af deres afkoms fremtoning og egenskaber.
4. Nilsen P. Making sense of implementation theories, models and frameworks. Implementation science : IS 2015;10(1):53.
14. Wears RL. Improvement and evaluation. BMJ Qual Saf 2015;24(2):92-94.
17. McCulloch P. Patient safety and rocket science. BMJ Qual Saf 2016;25(8):562-564.
