Kritisk læsning af artikler om randomiserede kliniske forsøg

Du går stuegang hos en 67-årig mand, som har svær pneumoni og har udviklet sepsis. I nat på intensivafdelingen blev der påbegyndt behandling med bredspektrede antibiotika, mekanisk ventilation og noradrenalin. Du overvejer at ordinere intravenøst givet C-vitamin, da en tidligere systematisk oversigt af flere mindre forsøg har tydet på, at det muligvis reducerer dødeligheden ved sepsis (meget lav tiltro til evidensen) [1]. Siden da er et stort randomiseret klinisk forsøg, Lessening Organ Dysfunction With VITamin C (LOVIT), publiceret [2].

FORSKNINGSSPØRGSMÅL

Hos voksne intensivpatienter med sepsis og vasopressorbehov (population), hvad er effekten af højdosis intravenøst givet C-vitamin (intervention) versus placebo (kontrol) på død eller behov for livsunderstøttende behandling på dag 28 (effektmål)?

RELEVANT FORSØG

I LOVIT-forsøget randomiseredes 872 akut indlagte, voksne intensivpatienter med vasopressorkrævende sepsis til behandling med højdosis C-vitamin (50 mg/kg × 4 i maks. fire døgn) versus placebo. Død eller livsunderstøttende behandling (vasopressor, invasiv mekanisk ventilation, eller (ny) dialyse) på dag 28 efter inklusion var det primære sammensatte effektmål. Sekundære effektmål var bl.a. antal dage uden organsvigt ved dag 28, død ved dag 28 og 6 mdr., livskvalitet ved 6 mdr. og skadevirkninger [2].

KRITISK VURDERING

Før detaljeret kritisk vurdering af et randomiseret klinisk forsøg bør man overveje, om problemet, som undersøges, er relevant. Derefter bør nedenstående ti centrale spørgsmål (opsummeret i Tabel 1) gennemgås. Yderligere detaljer om randomiserede kliniske forsøg og kritisk vurdering kan findes andetsteds [3]. Relevant terminologi er angivet med kursiv og forklaret i Tabel 2.

Er populationen relevant?

Det er vigtigt at vurdere, om både den mulige population (defineret ved forsøgets inklusions- og eksklusionskriterier) og den faktisk inkluderede population (typisk opsummeret i den første tabel i forsøgsrapporten) er relevante for den population, man evt. ønsker at give behandlingen. Jo flere centre forsøget er udført på, jo mere generaliserbare vil resultaterne typisk være. LOVIT-forsøget blev udført på 35 centre i Canada, Frankrig og New Zealand, og den inkluderede population ligner danske intensivpatienter med sepsis [2].

Er interventionerne relevante?

Var interventions- og kontrolgruppen relevante, og afspejler de, hvad der ville blive brugt i klinisk praksis uden f.eks. systematisk under- eller overdosering? Var interventionen et tillæg til eller et alternativ til eksisterende standardbehandling? I LOVIT-forsøget blev C-vitamin undersøgt som et tillæg til den øvrige behandling og sammenlignet med placebo, da C-vitamin ikke anvendes rutinemæssigt. Den øvrige behandling i de to grupper var ikke protokolleret, da det var et pragmatisk forsøg [2].

Er effektmålene relevante, og var målingen pålidelig?

Blev patientrelevante effektmål eller surrogateffektmål brugt [4]? Generelt er surrogateffektmål mindre patientrelevante, men tidsmæssigt tættere på intervention, nemmere at måle og har relativt højere statistisk styrke (f.eks. er det nemmere at påvise en effekt på blodtryk end på langtidsoverlevelse). Interventioner kan have gavnlig effekt på surrogateffektmål, men ingen eller skadelig effekt på patientrelevante effektmål; f.eks. mindskede visse antiarytmika forekomsten af asymptomatiske arytmier, men øgede dødeligheden [5].

Var målemetoden pålidelig og stabil? Kan viden om interventionen have påvirket registreringen af effektmålene [6]? Blinding er formentlig vigtigere for subjektive end for objektive effektmål [6-10]. LOVIT-forsøget var blindet (forsøgsmedicinen blev blandet af farmaceuter, der ikke var involveret i inklusion eller øvrig behandling), og det primære effektmål var objektivt og klinisk relevant [2].

Var allokeringen af forsøgsdeltagere tilfældig og skjult?

Var det umuligt for klinikere, deltagere og forskningspersonale at vide, hvilken intervention en deltager ville få før inklusionen? Allokeringen bør være tilfældig (ikke baseret på f.eks. ugedage eller patientnumre) og skjult for dem, der inkluderer deltagerne. Selv ved velgennemført randomisering er tilfældige forskelle i baselinekarakteristika mellem grupperne forventelige, men mange, større forskelle kan tyde på problemer [6]. I LOVIT-forsøget blev deltagerne allokeret sufficient ved randomisering via et web-baseret system; allokeringen var skjult for forsøgsdeltagere, klinikere, forskningspersonale og statistikere både før og efter randomisering [2, 11].

Kan viden, om hvilken intervention deltagerne fik, have påvirket behandlingen?

Hvis forsøget ikke var blindet, eller hvis forsøgsdeltagere eller behandlende klinikere trods blindingen kunne have haft viden om den allokerede intervention, kunne det så have haft betydning for protokoladhærens eller øvrig behandling, og kunne det påvirke forsøgets resultater [6]? LOVIT-forsøget var blindet, brugte placebo, C-vitaminniveauer blev ikke målt efter indgift af forsøgsmedicinen [2].

Var forsøgets statistiske styrke tilstrækkelig, og hvad var den statistiske præcision?

Den nødvendige stikprøvestørrelse beregnes ud fra den effektstørrelse, man vil kunne bevise, et bestemt signifikansniveau og en statistisk styrke samt øvrige parametre, f.eks. den forventede forekomst af effektmålet i kontrolgruppen. I mange forsøg kan man kun detektere forskelle, der er væsentligt større end den mindste klinisk relevante forskel, og kan ikke konkludere definitivt vedrørende mindre effekter [12, 13]. Den statistiske styrke kan være mindre end forventet, hvis f.eks. kontrolgruppen har færre hændelser end forventet [12], og er ofte anderledes for sekundære effektmål og væsentligt lavere for subgruppeanalyser. Trods statistisk signifikans kan estimatets præcision (typisk udtrykt ved et 95% konfidens-interval (KI)) være lav. LOVIT-forsøget var designet med 80% styrke til at detektere ti procentpoints reduktion i det primære effektmål ift. en forventet risiko på 50% ved inklusion af 800 patienter (antallet blev øget undervejs pga. COVID-19) [2]. Med en forekomst på hhv. 44,5% (C-vitamin) vs. 38,5% (placebo) medførte C-vitamin en relativ risiko (RR) for det primære effektmål på 1,21 (95% KI 1,04-1,40; p = 0,01), altså en statistisk signifikant effekt forenelig med en potentielt klinisk relevant øget risiko på 4% til 40% relativt eller 1,5% til 15 procentpoint absolut [2].

Kan frafald og manglende data have påvirket resultaterne?

Et vist antal af deltagere, som ikke opfølges eller af anden årsag ikke indgår i analysen, øger risikoen for systematiske fejl (bias) i et forsøg [5], særligt hvis andelen er forskellig mellem grupperne, f.eks. hvis flere deltagere frafalder pga. skadevirkninger i den ene gruppe, eller hvis sygere deltagere i mindre omfang besvarer spørgeskemaer om f.eks. livskvalitet [14]. Ved væsentlig missingness (f.eks. over 5%) er det utilstrækkeligt udelukkende at analysere komplette data, da det medfører lavere statistisk styrke og risiko for bias. Metoder bør anvendes, der tager højde for missing data (f.eks. multipel imputation og/eller best-worst/worst-best case-analyser) [6, 15]. Analysen bør generelt udføres iht. allokeringen (intention-to-treat-princippet) uden uhensigtsmæssige eksklusioner [16]. Et overblik over frafald (losses to follow-up) og manglende data fås fra forsøgets inklusionsflowchart (Figur 1) [17] og tabeller. I LOVIT-forsøget var data næsten komplette for alle effektmål, og den primære analyse var iht. intention-to-treat-princippet [2].

Fulgte forsøget, inklusive analyser og rapportering, protokollen?

Fulgte forsøget sin protokol eller er der risiko for selektiv rapportering af effektmål og analyser [6]? Ideelt bør en detaljeret protokol og en detaljeret statistisk analyseplan være publiceret før forsøgets afslutning, da utilstrækkelig detaljegrad øger fleksibiliteten og risikoen for afvigelser [18], f.eks. at flere analyser udføres, og kun den mest favorable rapporteres, eller at hierarkiet af effektmål besluttes på baggrund af resultaterne, efter forsøget er slut.

Blev forsøget afsluttet tidligere end forventet? Mange forsøg bruger interimanalyser og kan stoppe før den planlagte størrelse, hvis resultaterne er tilstrækkeligt overbevisende eller bekymrende; reglerne for at stoppe bør være tydeligt defineret i protokollen [19], og anbefalingerne om at stoppe pga. uforudsete sikkerhedssignaler (f.eks. øget forekomst af skadevirkninger) bør træffes på baggrund af vurdering af en uafhængig sikkerhedskomité. LOVIT-forsøget var registreret på ClinicalTrials.gov, før første patient blev inkluderet, og protokollen og den statistiske analyseplan blev publiceret før forsøgets afslutning [11, 20]; de eneste væsentlige afvigelser var forøgelse af størrelsen pga. inklusion af patienter med COVID-19 og en ekstra subgruppeanalyse af disse [2]. Forsøget udførte to planlagte interimanalyser med prædefinerede stopregler efter hhv. 248 og 525 deltagere [2].

Fortolkes resultaterne rimeligt?

Respekterede rapporteringen og forsøgskonklusionen et præspecificeret hierarki af effektmål, eller var der overdrevet fokus på sekundære effektmål eller subgruppeanalyser, der viste mere favorable resultater? Jo større antal analyser, jo større risiko for tilfældige fund pga. multiple testing, og enkeltstående statistisk signifikante fund for sekundære effektmål og analyser bør tolkes varsomt. Var tolkning og konklusion retvisende, eller blev usikre (ikkesignifikante) resultater fejltolket som bevis for, at der ingen forskel var mellem grupperne [13]? Hvis forsøget har lav statistisk styrke til påvisning af klinisk relevante forskelle, risikerer sådanne fejltolkninger at medføre, at potentielt gavnlige interventioner droppes præmaturt. Tolkningen bør derfor ikke alene baseres på statistisk signifikans, men også effektstørrelsen og den statistiske præcision, dvs. bredden af de effekter, resultaterne er forenelige med [21]. LOVIT-forsøget havde et tydeligt præspecificeret hierarki af effektmål, og konklusionerne blev primært baseret på resultaterne for det primære effektmål [2].

Er der væsentlige interessekonflikter?

Har gruppen bag forsøget væsentlige finansielle (f.eks. kommercielle) eller ikkefinansielle (f.eks. akademiske) interessekonflikter [22]? Interessekonflikter og industrifinansiering er associeret med mere favorable resultater og konklusioner [23-25], hvilket kan skyldes valg af design, analyse, rapportering og spin. Hvis forsøget eller forskerne bag har modtaget kommerciel støtte, er det væsentligt, hvordan de kommercielle partnere har haft indflydelse på forsøgets design, udførelse og rapportering. LOVIT-forsøget var uden væsentlig kommerciel støtte, og forfatterne havde ingen væsentlige interessekonflikter [2].

OPSUMMERING

LOVIT-forsøget undersøgte et klinisk relevant spørgsmål, hvor den forudgående evidens var usikker [1], og kritisk vurdering af forsøgsrapporten medførte ingen væsentlig bekymring ift. metodologisk kvalitet, risiko for bias, tilfældige fund, spin eller interessekonflikter. Forsøget bidrager med evidens af høj kvalitet: højdosis C-vitamin til intensivpatienter med sepsis så ud til at skade. Som alle forsøg bør resultaterne fortolkes i kontekst af den øvrige evidens i opdaterede systematiske oversigter [26] og kliniske retningslinjer [27].

DESIGNVARIANTER

De fleste randomiserede kliniske forsøg laves som parallelgruppeforsøg, hvor deltagerne randomiseres til én af flere – oftest to – interventioner; andre designvarianter er overkrydsningsforsøg, klyngeforsøg, faktorielle forsøg, avancerede adaptive forsøg [19, 28] og platformforsøg [29], som beskrives i Tabel 3. Særlige hensyn gør sig gældende ved planlægning, gennemførelse, analyse, rapportering og kritisk vurdering af disse forsøgstyper.

RAPPORTERINGSRETNINGSLINJER OG REDSKABER TIL KRITISK VUDERING

Relevante retningslinjer er SPIRIT for rapportering af forsøgsprotokoller [30] og Consolidated Standards of Reporting Trials (CONSORT) for rapportering af forsøg [17] og deres udvidelser til specifikke typer af forsøg. Det væsentligste redskab til vurdering af risikoen for bias i forsøg er Cochranes RoB 2-værktøj [6].