Cochraneoversigter sammenlignet med firmastøttede og andre metaanalyser af de samme lægemidler

Fireogtyve Cochraneoversigter blev sammenlignet med tæt matchede metaanalyser af de samme lægemidler. Kvalitetsscoren var højest for Cochraneoversigterne (7 vs. 2, p < 0,01). Af otte firmastøttede oversigter havde syv konklusioner, og de anbefalede alle det eksperimentelle lægemiddel uden forbehold, hvilket ingen af Cochraneoversigterne gjorde (p = 0,02), selv om der ikke var forskel i behandlingseffekten (p = 0,64). Firmastøttede oversigter var mindre gennemskuelige end Cochraneoversigter, havde få forbehold over for metodologiske mangler i forsøgene og bør læses med varsomhed.

Bias i lægemiddelforsøg er hyppig og favoriserer ofte sponsorens produkt [1, 2]. Kritiske, systematiske oversigtsartikler, hvori den tilgængelige information sammenfattes på en neutral måde, er derfor vigtige.

Cochraneoversigter tilstræber at minimere bias og undgå interessekonflikter [3]. De er gennemgående mere metodologisk stringente end andre oversigtsartikler [2, 4]. Vor hypotese var derfor, at gennemskueligheden ville være større og bias mindre i Cochraneoversigter end i firmastøttede oversigtsartikler. Vi sammenlignede Cochraneoversigter med andre metaanalyser af de samme lægemidler, som vi inddelte i tre grupper: firmastøttet, uden tilkendegivet støtte og støttet fra offentlige fonde.

Metode

Vi søgte efter par, som bestod af en Cochraneoversigt og en oversigtsartikel i et papirbaseret tidsskrift, som indeholdt en metaanalyse af de samme lægemidler og sygdomme og var publiceret inden for to år fra hinanden.

Vi søgte i Cochrane Database of Systematic Reviews (2003, issue 1). I PubMed blev der søgt efter papirbaserede oversigtsartikler, der matchede Cochraneoversigterne. Hvis der ikke blev fundet en match i PubMed, blev EMBASE gennemsøgt [2].

Det validerede Oxman og Guyatts indeks (0-7 points, 7 er bedst) blev brugt til bestemmelse af metodologisk kvalitet [5]. Vi inddelte konklusionerne i to grupper: 1) Det eksperimentelle lægemiddel blev anbefalet uden forbehold, 2) lægemidlet blev ikke anbefalet eller kun med forbehold.

Ved beregning af en z-score, der tog hensyn til det mere eller mindre overlappende datagrundlag i de samhørende oversigter, undersøgte vi, om effektestimaterne i de firmastøttede oversigtsartikler var systematisk forskellige fra Cochraneoversigternes estimater [2].

Resultater

Vi fandt 24 par. Otte af de papirbaserede oversigtsartikler var firmastøttede, ni havde ikke tilkendegivet støtte, og syv var støttet af offentlige fonde.

Den mediane kvalitetsscore (skala 0-7) var 7 for Cochraneoversigter og 3 for andre oversigtsartikler (p < 0,001) (se flere detaljer på www.bmj.com) [2].

Cochraneoversigter versus oversigtsartikler
støttet af et firma

Den metodologiske kvalitet var højest for Cochraneoversigter, hvori man oftere anførte søgestrategien, søgte mere udførligt, undgik bias ved udvælgelse af forsøg, beskrev relevante kriterier for bedømmelse af forsøg, beskrev allokeringsmetoden, beskrev ekskluderede patienter og ekskluderede forsøg samt brugte flere kilder til at finde forsøg.

En af de firmastøttede oversigtsartikler havde ingen terapeutisk konklusion, idet den omtalte lægemidlets fysiologiske karakteristika. I alle syv øvrige firmastøttede oversigtsartikler anbefaledes det eksperimentelle lægemiddel uden forbehold, hvilket man ikke gjorde i nogen af Cochraneoversigterne (p < 0,01). Forskellen skyldtes tolkningen af data og økonomiske overvejelser. I seks Cochraneoversigter var der forbehold over for kvaliteten eller relevansen af forsøgene eller resultaterne, og i to påpegede man som et tegn på mulig bias, at effekten var mindst i de største forsøg. I syv nævnte man den høje pris for det eksperimentelle lægemiddel, hvilket ikke blev gjort i nogen firmastøttede oversigter, hvorimod man i to af disse hævdede, at økonomiske analyser havde vist, at det eksperimentelle lægemiddel var fordelagtigt.

Trods disse forskelligheder var effektestimaterne som helhed ikke forskellige (p = 0,64) [2].

Cochraneoversigter versus oversigtsartikler
uden tilkendegivet støtte

Også for denne sammenligning var den metodologiske kvalitet højest for Cochraneoversigterne [2]. Kun i en Cochraneoversigt og i to andre oversigter anbefalede man det eksperimentelle lægemiddel uden forbehold.

De papirbaserede oversigtsartikler var ofte biased og var dårligt udført. I en syntes man at have inkluderet ikkerandomiserede studier. I en anden medtog man retrospektive studier, havde arbitrære inklusionskriterier og synes fortrinsvis at have udvalgt de studier og data, som favoriserede det eksperimentelle lægemiddel; endvidere fremhævedes det resultat ud af otte, som var størst. En tredje oversigt havde et helt misvisende resultat i resumeet, baseret på en indirekte sammenligning af behandlingsarme, og i modsætning til i Cochraneoversigten manglede der nogle forsøg, og man havde også overset bias relateret til patientantallet. I en fjerde oversigt fandt man ingen forskelle mellem lægemidlerne, men fastslog alligevel med henvisning til en økonomisk analyse: »Coupled with potential cost savings driven by the reduced need for hospitalization and revascularization procedures, it is not difficult to understand why clinicians, administrators and medical organizations representing the interests of physicians and the welfare of patients look favourably upon (low molecular weight heparin) «.

Cochraneoversigter versus oversigtsartikler
støttet af offentlige fonde

I to Cochraneoversigter og en anden oversigtsartikel var anbefalingen uden forbehold. Vi fandt modsatrettede anbefalinger i tre par. I det ene par så forfatterne forskelligt på balancen mellem gavnlige effekter og skadevirkninger. I Cochraneoversigten anbefalede man warfarin til patienter, der havde atrieflimren med øget risiko for apopleksi, mens man i den anden anbefalede trombocythæmmende lægemidler, trods inklusion af de samme forsøg.

I et andet par fandt man i den papirbaserede oversigt bedre kontrol af hæmoragi med octreotid. I Cochraneoversigten fandt man ingen forskel, men fremhævede, at man i en anden metaanalyse havde påvist, at terlipressin reducerede mortaliteten sammenlignet med ingen behandling. Vi tvivler på, at dette resultat er pålideligt, og har publiceret en kritik af denne metaanalyse.

I det tredje par inkluderede man i den papirbaserede oversigt kun tre dobbeltblinde forsøg og konkluderede, at metadon skulle bruges mod heroinafhængighed og angav, at LAAM var trukket tilbage pga. kardiotoksicitet. I Cochraneoversigten inkluderede man 18 studier, hvora f tre var kohortestudier, som ikke blev analyseret separat fra de randomisede forsøg, og det blev konkluderet, at LAAM synes at være mere effektivt end metadon.

Diskussion

Til trods for, at nogle Cochraneoversigter havde klare metodologiske problemer, var der færre end i oversigtsartikler fra papirbaserede tidsskrifter.

Vort studie var lille og bør gentages. Andre forbehold er, at vi arbejder i et Cochranecenter, og at Cochraneoversigter udfærdiges efter en håndbog [6], som delvis er udviklet af Andy Oxman, som også deltog i udviklingen af det indeks, vi benyttede. På den anden side var der klare forskelle, og i andre studier har man også fundet, at man i Cochraneoversigter oftere vurderer forsøgenes metodologiske kvalitet [2].

Andre matchede studier har været anekdotiske [2]. I en metaanalyse fandt man tilsvarende patientfrafald på fluoxetin som på tricycliske antidepressiva, men efterfølgende beskrev firmaet en markant forskel til fordel for fluoxetin, trods færre patienter og inklusion af upublicerede data on file, som i regelen er mindre gunstige end publicerede data. Det er ofte ikke muligt for andre end firmastøttede forskere at få adgang til sådanne data.

I en metaanalyse støttet af Merck & Co. (MSD) konkluderede man, at firmaets lægemiddel, Vioxx (rofecoxib) ikke øger risikoen for arteriel trombose. I en metaanalyse, som ikke var firmastøttet, konkluderede man det modsatte på baggrund af de samme tilgængelige forsøg [2].

Konklusionerne i oversigter uden tilkendegivet støtte var mere forsigtige end i de firmastøttede. Vi kontaktede forfatterne, og ingen angav at have modtaget firmastøtte. Vi formoder alligevel, at nogle har fået støtte eller har ladet firmaet gennemlæse manuskriptet og tilføje tekst, jf. anbefalingen af heparin ovenfor.

Fortolkning af støtte kan være vanskelig. Forfatterne til en papirbaseret oversigt angav delvis at have fået offentlig støtte, og tidligere at havde modtaget unrestricted grants af producenten af octreotid. I den tilsvarende Cochraneoversigt anførte man, at man ikke havde nogen permanente finansielle kontrakter med producenter af terlipressin. En Cochraneoversigt havde fået firmastøtte, idet Upjohn havde finansieret yderligere analyser af forfatterens eget forsøg [2]. I dag accepteres firmastøtte til Cochraneoversigter ikke [7].

I mindre stringent kontrollerede studier end vort har man påpeget uoverensstemmende konklusioner mellem systematiske oversigter om samme emne. De vigtigste årsager har været inkomplette søgninger, forskellig inklusion af forsøg, manglende opmærksomhed med hensyn til forsøgenes kvalitet og bias og forskellig fortolkning. Nogle oversigtsartikler har manglet over halvdelen af de valgbare forsøg [2]. I en oversigt af analgetika fandt man, at metaanalyser med positive konklusioner havde lavere kvalitetsscore end andre, målt med Oxman og Guyatts indeks. Der er dog også en tendens til, at konklusionerne i Cochraneoversigter er for positive [8].

Konklusion

Firmastøttede oversigtsartikler om lægemidler er mindre gennemskuelige end Cochraneoversigter, har færre forbehold over for den metodologiske kvalitet af de inkluderede forsøg, og konklusionen bør læses med en vis skepsis. Detaljer om allokeringsmetode, blinding, in- og eksklusionskriterier for forsøg, søgestrategier og estimerede effekter i hvert forsøg bør rapporteres, så læseren kan vurdere pålideligheden af oversigten. For at øge gennemskueligheden bør der også være adgang til protokollen. Protokoller til Cochraneoversigter publiceres i Cochranebiblioteket, og protokoller til andre oversigter kan registreres gratis i UK National Research Register.

Peter C. Gøtzsche, Det Nordiske Cochrane Center, H:S Rigshospitalet, Afdeling 7112, DK-2100 København Ø. E-mail: pcg@cochrane.dk

Antaget: 9. oktober 2006

Interessekonflikter: Anders W. Jørgensen og Peter C. Gøtzsche er tilknyttet Det Nordiske Cochrane Center. Holdningen i denne artikel er forfatternes egne og er ikke nødvendigvis den samme som Cochranesamarbejdets.

Taksigelser: Vi takker Stefan Leucht, Deborah J. Cook, Deborah Goebert, Michael Ludwig, Max H. Pittler, Chiel Springer, Steven L. West, Frederick A. Spencer og Patrick Chien for information om støtte til deres artikler og det Iberoamerikanske Cochrane Center i Barcelona for studiefaciliteter.

This article is based on a study first reported in the BMJ, doi:10.1136/ bmj.38973.444699.0B (published 6 October 2006).