Selektiv rapportering af effektmål i randomiserede forsøg - sekundærpublikation

Introduktion: Selektiv rapportering af positive effektmål giver bias.

Materiale og metoder: Vi foretog et kohortestudie af 102 protokoller til randomiserede forsøg godkendt af De Videnskabsetiske Komitéer for København og Frederiksberg Kommuner i 1994-1995 og tilhørende 122 artikler.

Resultater: Den mediane frekvens af ufuldstændigt rapporterede effektmål pr. forsøg var på 50%. Statistisk signifikante effektmål var oftere fuldt rapporteret, odds-ratio var 2,4. I 62% af forsøgene var et primært effektmål ændret.

Konklusion: Effektmål i randomiserede forsøg er ofte selektivt rapporteret.

Randomiserede kliniske forsøg med statistisk signifikante fund publiceres oftere end - og før - forsøg med negative fund [1]. I modsætning til denne velbeskrevne publikationsbias er selektiv rapportering af positive effektmål inden for hvert forsøg ikke undersøgt tilsvarende grundigt. Man har længe haft mistanke om eksistensen af en sådan bias [2], men de hidtidige anekdotiske rapporter er ikke nødvendigvis repræsentative [3] og kan selv være et resultat af publikationsbias.

Vort studie havde tre formål: 1) at bestemme prævalensen af urapporterede og ufuldstændigt rapporterede effektmål i publicerede artikler om randomiserede forsøg, 2) at undersøge om rapportering af effektmål var relateret til disses statistiske signifikans og 3) at vurdere konsistensen mellem primære effektmål angivet i forsøgsprotokoller og primære effektmål angivet i publicerede artikler.

Metode

En udførlig beskrivelse af metoderne findes i primærpublikationen [4]. Materialet bestod af en kohorte af protokoller (og tillæg til protokoller) til randomiserede forsøg godkendt af De Videnskabsetiske Komiteer for København og Frederiksberg Kommuner i 1994-1995 og tidsskriftartikler, der beskrev forsøgsresultaterne. Artiklerne blev fundet ved at kontakte protokolforfattere og ved at søge i MEDLINE, EMBASE og Cochrane Controlled Trials Register.

For hvert forsøg gennemlæste vi forsøgsprotokollen, alle tillæg til protokollen og alle publicerede artikler. Vi noterede forsøgets karakteristika og informationer om effektmål, inklusive antal og type af effektmål, hvor detaljeret effektmålet var rapporteret, om det var angivet som primært eller sekundært effektmål, og om resultatet var statistisk signifikant.

Vi definerede et effektmål som en variabel til vurdering af den gavnlige eller skadelige effekt af en behandling. Et effektmål blev betragtet som fuldt rapporteret, hvis tilstrækkelige data til en metaanalyse kunne uddrages fra artiklen, f.eks. hvis der for hver gruppe var angivet antallet af patienter, et mål for effekten (f.eks. et gennemsnit) og dennes præcision (f.eks. standarddeviation). Ufuldstændigt rapporterede effektmål kunne ikke anvendes til metaanalyse, men i artiklen rappor-teredes dog om nogen information om resultatet, f.eks. en p-værdi. Vi betragtede effektmål som urapporterede, hvis de var anført i protokollen eller nævnt i en tidsskriftsartikels metodeafsnit, uden at artiklen indeholdt nogen som helst information om resultatet.

Analyserne blev gennemført på forsøgsniveau og var stra-tificeret efter forsøgsdesign. Effektmål, der drejede sig om henholdsvis gavnlige og skadelige effekter, blev undersøgt separat. For hvert forsøg anførte vi alle effektmål i en 2 × 2-tabel, der relaterede graden af rapportering (fuld vs. ufuldstændig) til statistisk signifikans (p< 0,05 vs. p≥0,05). En odds-ratio blev derefter beregnet for hvert forsøg. Odds-ratio over 1 betyder, at statistisk signifikante effektmål har højere odds for at blive fuldt rapporteret end ikkesignifikante effektmål. Et overordnet mål for bias blev beregnet ved at kombinere odds-ratioerne med random effects -metaanalyse.

Dernæst vurderede vi konsistensen mellem primære effektmål angivet i forsøgsprotokoller og primære effektmål rapporteret i publicerede artikler. Vi definerede et primært effektmål som et, der eksplicit var karakteriseret som primært i protokollen eller i den publicerede artikel. Når der ikke var anført noget primært effektmål, valgte vi det, der var anvendt i styrkeberegningen ved skønnet over den nødvendige materialestørrelse. Vi vurderede, at der var en klar diskrepans, hvis: 1) et primært effektmål i protokollen i artiklen blev rapporteret som et sekundært eller et uspecificeret effektmål eller var urapporteret, 2) et primært effektmål, der var rapporteret i den publicerede artikel, ikke optrådte i protokollen, eller 3) der var forskellige effektmål i protokollens og artiklens styrkeberegninger.

Resultater

Der var 1.403 ansøgninger til De Videnskabsetiske Komiteer for København og Frederiksberg Kommuner i 1994-1995. Vi fandt 274 protokoller for randomiserede forsøg, hvoraf 172 (63%) aldrig var påbegyndt, færdiggjort eller publiceret. Den endelige kohorte bestod derfor af 102 forsøg med i alt 122 publicerede artikler.

Det typiske forsøg var et industrisponsoreret parallel-gruppeforsøg. I artiklerne for 39% af forsøgene oplystes der en kontaktforfatteradresse uden for Danmark. Mediant antal patienter i parallelgruppeforsøg var 151 (10-90 percentil 28-935). Publikationsåret for artiklerne gik fra 1995 til 2003. Vi fandt i alt 3.736 effektmål (mediant 27 pr. forsøg; 10-90 percentil 7-79).

Blandt de forsøg, hvor man målte gavnlige eller skadelige effekter, havde hhv. 71% (70 ud af 99) og 60% (43 ud af 72) mindst et urapporteret effektmål. I disse forsøg var medianen af urapporterede effektmål 4 (10-90 percentil 1-25) for gavnlige effektmål, og 3 (10-90 percentil 1-18) for skadelige effektmål.

Mindst et ufuldstændigt rapporteret gavnligt effektmål forekom i 92% (91 ud af 99) af forsøgene, mens 81% (58 ud af 72) havde mindst et ufuldstændigt rapporteret skadeligt effektmål. Den mediane andel af ufuldstændigt rapporterede effektmål pr. forsøg var 50% (10-90 percentil 4-100%) for gavnlige effektmål og 65% (10-90 percentil 0-100%) for skadelige effektmål.

Den gennemsnitlige odds-ratio for rapporteringsbias (95% konfidensinterval) var 2,4 (1,4-4,0) for gavnlige effekter og 4,7 (1,8-12,0) for skadelige effekter (Tabel 1 ). Med andre ord var odds for fuld rapportering af et givet effektmål mere end dobbelt så stor, hvis effektmålet var statistisk signifikant.

Primære effektmål blev defineret for 82 ud af de 102 forsøg (80%) enten i protokollen, tillægsprotokoller eller i de publi-cerede artikler. I alt 51 ud af 82 forsøg (62%) havde klare dis-krepanser mellem det primære effektmål angivet i protokoller og de primære effektmål angivet i de publicerede arbejder (Tabel 2 ). I ingen af de publicerede artikler var det anført, at en ændring i de primære effektmål havde fundet sted i forhold til protokollen.

Diskussion

Vi fandt, at der er adskillige urapporterede og ufuldstændigt rapporterede effektmål i de fleste randomiserede forsøg, at positive fund favoriseres, og at der er en diskrepans mellem primære effektmål i publicerede artikler og i forsøgsprotokoller i næsten to tredjedele af tilfældene.

Formålet med a priori-definerede primære effektmål er at vælge de klinisk mest relevante effektmål og at beskytte mod »fisketure« efter positive resultater. Denne mekanisme sættes ud af funktion, hvis prædefinerede primære effektmål efterfølgende ændrer status.

Selv om ændringer af primære effektmål efter påbegyndelse af et forsøg giver risiko for bias, er rationalet for sådanne ændringer ikke altid klart. En præference for statistisk signifikante resultater er en indlysende forklaring. En anden forklaring kunne være, at resultater fra andre effektmål i forsøget kunne have influeret på, om et statistisk signifikant resultat blev anset for at være væsentligt. For eksempel kunne et effektmål være blevet bortcensureret, hvis det var inkonsistent med andre effektmål.

Nogle af de observerede ændringer kunne skyldes ufuldstændige protokoller. Det er muligt, at nogle forskere ikke har været klar over, at en protokol angiver, hvordan data vil blive analyseret, og at termen »primær« kun refererer til a prioridefinerede primære effektmål, og ikke til effektmål valgt post hoc som dem, der har størst betydning eller interesse. Imidlertid var mange protokoller ganske detaljeret udarbejdet af store farmaceutiske virksomheder, hvorfor manglende kendskab til de krav, der stilles til en protokol, næppe kan være forklaringen. Det er også muligt, at diskrepansen skyldes, at logistiske problemer umuliggør det protokollerede effektmåls implementering, eller at ny forskning sandsynliggør, at effektmålet er upålideligt. Imidlertid var det ikke anført i en eneste af artiklerne, at primære effektmål var blevet ændret.

Uanset årsagen til ændringerne i de primære effektmåler der risiko for bias, når ændringerne sker efter påbegyndelse af forsøget. Denne uheldige praksis strider mod samarbejds-aftalen om kliniske forsøg mellem lægestand og lægemiddelindustri, hvori det påpeges, at »De dataanalyser, der ligger til grund for publiceringen, skal være i overensstemmelse med forsøgets protokol, hvori den statistiske metode skal være beskrevet« [5].

Halvdelen af forsøgene var multicenterstudier, de fleste med inddragelse af centre uden for Danmark, og i 39% af forsøgene var den korresponderende forfatter tilknyttet et udenlandsk center. Vore fund er i overensstemmelse med resultaterne fra to andre kohorter af randomiserede forsøg [6, 7 ]. Det er derfor sandsynligt, at vore fund ikke kun afspejler et dansk fænomen.

Selektiv rapportering af effektmål har omfattende impli-kationer. Det øger prævalensen af tilfældige fund, og både i randomiserede forsøg og i systematiske oversigter vil der være en tendens til at overvurdere effekter af behandlinger. Der er derfor behov for væsentlige forbedringer i rapporteringen af effektmål i randomiserede forsøg. Protokoller bør være offentligt tilgængelige, ikke kun som kilde til urapporterede effektmål og post hoc-ændringer, men også for at forebygge bias [8].

Ideelt set bør protokoller publiceres online efter forsøgets registrering og før påbegyndelse af forsøget. Afvigelser fra forsøgsprotokollen bør beskrives i de publicerede artikler, så læseren kan vurdere risikoen for bias. Endelig bør tidsskriftsredaktører ikke kun overveje et rutinemæssigt krav om, at den originale protokol (samt tillægsprotokoller) indsendes sammen med forsøgsmanuskripter, men også at dette materiale benyttes i peer review og helst gøres offentligt tilgængeligt på tidsskriftets hjemmeside [8].

Asbjørn Hróbjartsson , Det Nordiske Cochrane Center, H:S Rigshospitalet, DK-2100 København Ø. E-mail: a.hrobjartsson@cochrane.dk

Antaget: 27. maj 2005

Interessekonflikter: Ingen angivet