Peter Gøtzsche: Om statistik og bias

Jeg skrev i september, at når nye cancerbehandlinger i gennemsnit ikke giver bedre overlevelse end gamle, er det forkert at sige til patienter, man ønsker at rekruttere til et nyt forsøg, at "vi har en begrundet forhåbning om, at den nye er bedre (1)." Jeg beskrev fire metaanalyser, der alle havde fundet en relativ risiko på 1, så det videnskabelige grundlag for min konklusion er i orden. Det er ganske enkelt forkert at sige dette til patienterne, når vi har empirisk belæg for, at det ikke er rigtigt.

Dette empiriske grundlag kan ikke anfægtes. Det kan mine statistiske overvejelser derimod, der gik på, hvor mange resultater vi ville forvente var signifikante. Per Kragh Andersen påpeger, at mit ræsonnement ikke holder, og det har han faktisk ret i (2), hvilket et tankeeksperiment kan vise: Hvis vi forestiller os, at vi gennemfører 100 forsøg med hver en billion patienter, hvor vi sammenligner A med B, vil vi forvente, at selv meget små forskelle vil blive statistisk signifikante, dvs. i runde tal vil vi forvente omkring 100% signifikante resultater, med 50% til hver side. Jeg forestillede mig, at vi med en relativ risiko på 1 i gennemsnit ville forvente 2½% signifikante resultater til hver side, men det kan man ikke sige, da antallet af signifikante resultater afhænger af både effektens størrelse og af antallet af dødsfald, dvs. hvor store forsøgene er.

Steen Rosthøj bliver jeg derimod ikke enig med. Han fokuserer på en af mine fire metaanalyser og erkender, at effektmålene ikke var de samme i alle de forsøg, der indgik i metaanalysen: "i næsten alle forsøg har det været enten event free survival eller overall survival (3)." Dette var netop pointen i mit andet indlæg, som jeg kaldte "Om statistiske fisketure" (4). Min forskergruppe påviste i 2004, at i totredjedele af de randomiserede forsøg havde forfatterne ændret mindst et primært effektmål mellem protokollen og publikationen, og en sådan ændring var relateret til, om ændringen gav et statistisk signifikant resultat (5). Det kalder vi bias. Det andet problem er, at progressionsfri overlevelse er svært behæftet med bias. Det er svært at afgøre, om der er progression eller ej, hvorfor jeg kun benyttede "hard facts": hvor mange døde der i hver gruppe? Det regnede jeg på og fandt ud af, at nye behandlinger i gennemsnit ikke er bedre end gamle, og jeg brugte en random effects metaanalyse, som Kragh Andersen anbefaler (2).

Rosthøj nævner, at der i den metaanalyse, han valgte ud, var signifikante resultater i 21% af sammenligningerne til fordel for den nye behandling og i 8% af tilfældene til fordel for den gamle. Dette tyder også på bias. Vi laver jo kun forsøg, hvis der er 'equipoise' (ligevægt), dvs. når vi ikke ved, hvad der er bedst. Derfor vil vi - alt andet lige - forvente at se lige mange signifikante resultater til hver side.