Per Kragh Andersen: Gøtzsche misforstår meta analyser

I en verserende diskussion i Ugeskriftet [1,2] lægger Gøtzsche et statistisk argument til grund for sine synspunkter [2]. Da dette argument er forkert vil jeg, uden i øvrigt at tage stilling til det medicinske indhold i diskussionen, gøre opmærksom herpå.

Gøtzsches argument er, at hvis man finder et samlet estimat på 0, altså ingen forskel på ’nye og gamle behandlinger’, så vil man forvente, at 2½% af de studier, som indgår i analysen vil finde en signifikant ’positiv’ forskel på behandlingerne. Dette argument holder ikke, hverken for ’random effects’ eller for ’fixed effects’ meta analyser.

I en ’random effects’ meta analyse model, som på grund af den store heterogenitet er den mest relevante model at benytte her, beskrives fordelingen af behandlingseffekter i alle studier som en normal fordeling med en vis middelværdi, hvis værdi estimeres i meta analysen. Spredningen i denne normalfordeling er en yderligere parameter, som estimeres i analysen, og det er en konsekvens af modellen, at 2½% procent af behandlingseffekterne vil ligge mere end 1.96 standardafvigelser over denne middelværdi.

Men dette har intet at gøre med statistisk signifikans af de enkelte studier. Denne vil afhænge af forhold som, hvor stor den faktiske behandlingseffekt er i det givne studie, og jo også kritisk af, hvor stort det pågældende studie er. Med andre ord, i en random effects meta analyse, som estimerer middelværdien til at være nul, kan der være en meget variabel brøkdel af studier, som viser en signifikant positiv effekt.

Heller ikke i en ’fixed effects’ meta analyse model holder argumentet, når der som her er tale om en sammenfatning af resultater fra studier af vidt forskellig størrelse.