Steen Rosthøj: Om fisketure og skovture

Til den trætte læser: dette indlæg i debatten med Peter C Gøtzsche om randomiserede cancerforsøg bliver mit sidste, det lover jeg. Men når Gøtzsche endnu en gang påstår, at jeg ikke magter at forstå et gennemsnit på nul [1], er det nødvendigt at svare. Min gennemsnitlige fatteevne er givetvis ikke på højde med professorens, men det betyder ikke at han har ret hver gang, eller at han aldrig kommer på en skovtur.

Ifølge Gøtzsche indebærer den rette forståelse af et gennemsnit på nul (relativ risiko = 1.0), at man kun kan forvente signifikant bedre eksperimentel behandling i 2,5% af forsøgene. Hvis man i en sammentælling finder signifikant positivt resultat i 39 af 215 forsøg – signifikant flere end de forventede 5 - må der derfor være noget helt galt. Det må skyldes statistiske fisketure efter betydningsløse forskelle, som ikke har noget med patienternes overlevelse at gøre.

For det første: Det er ikke rigtigt, at der kun kan være 2,5% forsøg med signifikant positivt resultat. Gøtzsche antager tilsyneladende, at når der i gennemsnit ikke er nogen forskel på ny og gammel behandling, så er der heller ikke nogen forskel i de enkelte forsøg, således at de observerede forskelle kun er tilfældig variation normalfordelt omkring nul. Tænkeligt, selvfølgelig, men sådan forholder det sig ikke. Det svarer til at sige, at hvis man har afprøvet penicillin og åreladning og gennemsnitseffekten er nul, så er der ingen grund til at behandle pneumoni. De forsøg der indgår i analyserne er heterogene: forskellige sygdomme, forskellige patienter, forskellige behandlinger. Det er klinisk set absurd at regne med, at de ny behandlinger skulle have samme effekt i forhold til standardbehandling i alle forsøgene. Nogle er bedre, nogle er dårligere, nogle har samme effekt. I de 126 børneonkologiske forsøg med 152 randomiserede sammenligninger var den eksperimentelle behandling statistisk set signifikant bedre end standardbehandling i 21% af sammenligningerne, signifikant dårligere i 8% [2]. Ved pooling af patienterne fra alle forsøg opvejer ydergrupperne hinanden så odds ratio samlet bliver tæt på 1. Denne værdi er et gennemsnit af forskellige behandlingseffekter, ikke en fælles værdi for alle ny behandlinger [3]. Analysens pointe er ikke, at eksperimentel behandling og standardbehandling næsten altid er lige gode, men at de nogenlunde lige hyppigt er bedst.

For det andet: Der er ikke nogen, som har været på statistisk fisketur. I opgørelserne er der kun set på de primære, forud definerede effektmål, og i næsten alle forsøg har det været enten event free survival eller overall survival. Det kan man forvisse sig om ved at nærlæse referencerne. Det har Gøtzsche muligvis forsømt, selv om han har brugt referencerne som evidens for sit synspunkt.

Fra den trætte skribent: I rest my case, også selv om Gøtzsche måtte mene at jeg fortsat ikke har forstået tingene. Forvirrede læsere bør gå til kilderne, med eller uden overdommerens velsignelse - læs selv, døm selv.

Læs også: Per Kragh Andersen: Gøtzsches misforstår meta analyser

Peter Gøtzsche: Om statistik og bias