Blegner stråleglansen om Cochrane?

I denne weekend holder det internationale forskernetværk Cochrane samarbejdet (se faktaboks) sit årlige stormøde, og lige inden mødes bestyrelsen.

Mødet starter i dag, og der er nok at tale om.

Engang var Cochrane analyser guldstandarden for evidens. Først og fremmest fordi forskerne, der laver dem – de såkaldte reviews – er uafhængige af industrien. Men i dag har eksempler på dårligt udførte og ligefrem tilbagetrukne reviews, en rummelig tilgang til emnevalg og til tider ophidset kritik fra forsker- og lægeverdenen selv belastet det uafhængige netværk.

Senest har medarbejdere fra det nordiske center kritiseret de forskere, der har skrevet Cochrane-reviewet om HPV-vaccinen for bl.a. at udelade relevante studier og foretaget forkerte sammenligninger. Metodekritik, altså. Cochrane-ledelsen har tilbagevist kritikken, men ingen forventer, at slagsmålet dermed er slut.

Mens forskere krydser klinger i dén kamp, er det bredere spørgsmål, om sådanne til tider voldsomme meningsudvekslinger betyder noget – og i givet fald hvad – for Cochrane samarbejdet selv.

Det er ikke første gang, det nordiske center lægger sig ud med andre forskere, og ofte trækker kontroverserne overskrifter.

Formand for Lægevidenskabelige Selskaber (LVS), Henrik Ullum, er blandt dem, der mener, at den slags ikke gør noget godt for Cochranes image og ry.

”Den aktuelle offentlige uenighed og nærmest skænderier mellem Cochrane og den nordiske arm beklikker hele netværkets troværdighed. Det er ulykkeligt”, siger han.

Han rejser spørgsmålet, om samarbejdet og især det nordiske center har fjernet sig for meget fra den egentlige opgave.

”Kernefunktionen er at lave metastudier og reviews af vigtige, uafklarede medicinske områder. Selve formen kan dog diskuteres. Skal den være konservativt videnskabelig og konsensussøgende eller mere aktivistisk og kontroversiel?”, spørger han.

Han ser gerne et eftersyn af centeret, som i stor udstrækning er offentligt finansieret via finansloven, ”med henblik på at vurdere denne overordnede balance”.

På sin hjemmeside skriver det nordiske center selv, at det har tre hovedopgaver: Information og vejledning, forskning, og endelig software udvikling.

Det står imidlertid til troende, at medarbejderne og især ledelsen på det Nordiske Cochrane Center sammen eller enkeltvis også deltager flittigt i debatter i både ind- og udland om mange forskellige emner. I flæng kan nævnes f.eks. betimeligheden af lægemiddelannoncer i Ugeskrift for Læger over den rette armslængde mellem medicinalindustrien og ledelsen i Lægemiddelstyrelsen, til fedmeepidemiens årsager og spørgsmålet om, hvem der bør bære dens økonomiske konsekvenser.

Ingen af disse emner forekommer at have nogen baggrund i review- og analysearbejde. Men det gør til gengæld centrets ligeledes flittige deltagelse i debatter om f.eks. screeningprogrammer, forbruget af psykofarmaka og kvaliteten af HPV-reviewet.

De tre sidstnævnte emner har forårsaget heftig debat, men andre af centerets aktiviteter ud over reviewarbejdet er det svært for andre forskere at være modstandere af. For eksempel var det efter et årelangt pres fra det Nordiske Cochrane Center, at det europæiske lægemiddelagentur EMA slog ind på en mere åben politik. En politik, der selvsagt kommer alle forskere til gode.

”Det er blevet EMA’s erklærede mål at arbejde for offentlig adgang til alle data fra kliniske undersøgelser, som indsendes af lægemiddelfirmaerne som led i sagsbehandlingen. Forhistorien til denne skelsættende beslutning er lang og omfatter blandt andet EU Ombudsmandens afgørelse i en sag rejst af Det Nordiske Cochrane Center om adgang til data for EMA-godkendte slankemidler”, som tidligere kontorchef/enhedschef for afdelingen for lægemiddelgodkendelse i Lægemiddelstyrelsen/Sundhedsstyrelsen Steffen Thirstrup udtrykte det i en blog på ugeskriftet.dk i 2013.

Hvem politiserer?

Fra centeret selv kommer spørgsmålet, hvem det egentlig er, der er ”aktivistisk”?

”Forskere må gerne forsøge at ændre ting til det bedre, og det involverer politik og nogle gange aktivisme. Men det er ikke organisationen Cochranes opgave”, siger det nordiske centers vicedirektør Karsten Juhl Jørgensen.

Han mener, at HPV-vaccine reviewet er et eksempel, hvor Cochrane-ledelsen – ikke det nordiske center – er i betænkelig nærhed af at politisere.

”Når der kommer sådant et review om HPV vaccine, så vælger Cochrane (ledelsen, red.) at promovere det kraftigt og med meget positive udmeldinger. Det sker ikke så meget for reviews, som ikke er så politiske, og hvor der ikke er behov for at støtte politiske agendaer”, siger han.

”Den rolle, hvor man skal understøtte politiske agendaer strider mod ånden i en rolle, som Cochrane traditionelt har haft: at udfordre autoriteter. Det er vores grundlæggende videnskabelige raison d’être – vi skal stille de ubehagelige spørgsmål. Det er klart, at man så risikerer at komme i konflikt med nogen".

Så også herfra er vurderingen således, at politiseren går ud over Cochranes troværdighed.

Bad science og fjolleforskning

Det samme kan siges om et andet aspekt: kvaliteten af de reviews, som Cochrane samarbejdet publicerer. Sidste år blev et review om medicin til ADHD hos voksne f.eks. trukket tilbage. Det skete, efter at flere forskere – heriblandt nogle fra det Nordiske Cochrane Center - havde kritiseret dets kvalitet.

”Der var ikke tale om fusk eller uredelighed, det var bare dårligt lavet”, siger Karsten Juhl Jørgensen.

Den slags er naturligvis ikke godt for troværdigheden, men omvendt mener Karsten Juhl Jørgensen, at det er en fordel, at dårlige reviews overhovedet bliver trukket tilbage, og at samarbejdet lægger disse tilfælde åbent frem. Han mener, det burde ske oftere.

”Vi har f.eks. tidligere været ude med kritik af et review om effekten af forbøn”, fortæller han.

Altså at nogen beder til Gud for andre menneskers helbredelse?

”Ja. Reviewet blev også kraftigt revideret men ikke trukket tilbage. Desværre”.

Netop Cochranes emnevalg kan godt løfte øjenbryn hos læger og forskere. Taster man f.eks. ”alternative medicine” ind i Cochrane Librarys søgefelt, kommer der et væld af reviews frem om f.eks. kinesisk urtemedicin, akupunktur og homoøpati.

Det emne kom en anden af ugeskriftet.dks bloggere, overlæge Jan Lindebjerg, Patologisk Afdeling, Sygehus Lillebælt Vejle, ind på i et indlæg fra februar i år.

Det pågældende review handlede om homoøpati, og forfatterlisten var spækket med interessekonflikter.

”Både emnet og videnskaben opfylder ikke kravene til, hvad Cochrane bør beskæftige sig med”, mener han.

Han kan kun forklare det med svagheder i reviewprocessen.

”Hoved- eller medforfatteren var læge og hofhomoøpat for det britiske kongehus og derfor en, som bare i kraft af sin titel og navn har en indbygget autoritet. Og så er spørgsmålet, hvem der laver review? Det kræver en indsigt. At man kender de præparater, og det gør man ikke nødvendigvis som reviewer”, siger han.

Men så har man jo valgt de forkerte til at lave reviewet?

”Det har man nemlig. Det er bl.a. det, der gør, at peer review ikke er perfekt. Men det er bedre end ingenting”.

Grundig proces

Cochranes reviewproces er ellers grundig. Den foregår normalt ved, at nogle forfatter tilbyder at lave et review – typisk hos den gruppe, som huser det pågældende emne. Det Nordiske Cochrane Center huser f.eks. seks sådanne grupper.

Redaktørerne ved den pågældende gruppe tjekker for interessekonflikter, og når forfatterne er endeligt valgt, laver de en protokol, som udsættes for peer review både internt og eksternt.

Når reviewet så er færdigt, udsættes også dét for både internt peer review i gruppen og eksternt peer review, hvor alle kan komme med input og kritik. Derefter kan analysen publiceres som et Cochrane review.

Læs altid kritisk

Efter Jan Lindebjergs mening er eksempler som f.eks. reviewet om homoøpati en reminder til brugerne om, at alt fra Cochrane samarbejdet ikke bare automatisk kan tages for pålydende. Man må selv tænke sig om.

”Vi skal alle sammen være kritiske læsere, når vi læser videnskabelig litteratur”, siger han.

Synes du, Cochrane samarbejdet har mistet noget respekt?

”Til en vis grad, ja. Man begynder at være mere bevidst om, at også Cochrane reviewere kan være følsomme for intellektuel bias, hvorfor man i dag kigger mere kritisk på, hvad der kommer ud. Man accepterer ikke alt, bare fordi der står Cochrane på. Det har man været mere tilbøjelige til før. Princippet bag systematiske reviews er også rigtigt godt. At man samler al tilgængelig evidens – publiceret såvel som upubliceret – og laver en samlet evidensvurdering ud fra det. Det er ikke perfekt, men vi har ikke noget bedre på nuværende tidspunkt”.

Hvordan uperfekt?

”Data er jo data. Men man er også nødt til at se dem i den kontekst, som de er fremkommet under”.

For eksempel?

”Er selvmord under antidepressiv behandling en bivirkning? Eller en følge af, at svært deprimerede patienter bedres i en sådan grad, at de fra at være fuldstændigt passive får den energi, der skal til for at sætte handling bag et selvmordsønske? Jeg ved det ikke, men det kunne måske forklare nogle af de divergerende opfattelser, vi ser mellem Cochrane og psykiaterne”.

Kan studier for eksempel blive for gamle til at indgå i et review?

”At sætte en grænse ved f.eks. 20 år tilbage er for firkantet. Men der kan godt være f.eks. et biologisk-fysiologisk fænomen, som man pludselig lærer om, som gør ældre studier forældede. Men man kan ikke lave eksakte regler. Man må se på, om det har relevans for nutidige undersøgelser”.

En anden indvending er selve den tilgang, nærmest som statistikere, som Cochrane-forskerne anvender.

”Videnskab skulle gerne være mere end anvendt statistik. For al statistisk evidens er ikke ligeværdigt. Systematiske reviews er ikke designet til at tage højde for biologisk plausibilitet af forskellige behandlingsmetoder”, siger Jan Lindebjerg.

Andre har metodekritiseret på andre parametre.

Elias Eriksson, Farmakologisk Afdeling på Sahlgrenska Akademiets institut for neurovidenskab og fysiologi i Göteborg er en af de forskere og læger, der gennem tidens løb har stillet spørgsmålstegn ved Cochrane-metoden. Han har ligeledes deltaget i nogle af de debatter om især medicin til behandling af psykiske lidelser, som forskning – også uden for selve Cochrane samarbejdet - der anvender denne metodik, har givet andledning til.

"Fejlen er at undervurdere værdien af fagkompetence. Alene at vurdere de studier, man finder ved hjælp af Cochrane-baserede manualer som tjekliste er ikke tilstrækkeligt til at forstå vidensniveauet inden for et område", siger han.

Heller ikke han anser – længere - Cochranes troværdighed som et uomtvisteligt faktum.

”Cochrane spillede en vigtig rolle, da instituttet blev grundlagt, fordi de metaanalyser og systematiske oversigter, som blev publiceret, ofte var af høj kvalitet. Men nu tror jeg, at tiden er moden til, at rapporter fra Cochrane alene kan bedømmes på egne meritter og ikke forudsættes at være bedre eller værre end metaanalyser og systematiske oversigter fra andre forskere, som måske ikke anvender netop Cochranes manualer og retningslinjer", siger han.

”Debat er aldrig dårligt”

Men at Cochrane samarbejdet udsættes for kritik, betyder ikke, at al støtte pludselig falder væk.

”Vi bliver nødt til at kunne håndtere den debat, som lige præcis Cochrane bringer op, for eksempel om overbehandling og screening”, siger seniorrådgiver Sine Jensen med ansvar for sundhedspolitik hos Forbrugerrådet Tænk.

”Der er jo noget, der tyder på, at vi skader flere, end vi hjælper”, siger hun.

Hun sidder i det nordiske centers Advisory Board, og den blæst, der til tider står om centeret, tager hun roligt.

”Debat er godt – man kan aldrig synes, at det er dårligt. Centrets forskning er relevant og rigtig ofte et meget vigtigt indspark til debatter”, siger hun.

Åbenhed er også det redskab, som hyldes hos de videnskabelige tidsskrifter, der ofte lægger spalter til uenighederne. Det ville være utænkeligt at skjule dem.

F.eks. har den seneste Cochrane-kontrovers over reviewet om HPV-vaccinen fået chefredaktør for British Medical Journal (BMJ), Fiona Godlee, til at reagere.

Hun har ud over BMJ selv også det overordnede ansvar for en række underpublikationer, herunder BMJ Evidence-Based Medicine (BMJ EMJ), som har publiceret dele af HPV-kontroversen. Nu vil hun have hele molevitten samlet der, så almindelige læger, forskere og andre interesserede har en chance for at danne sig et overblik.

”Alle svarene og artiklen selv bliver gjort tilgængelige på BMJ EMJs hjemmeside, så de er fuldt offentlige”, siger hun.

”Det er et område, som er af intens offentlig interesse og videnskabeligt kontroversielt. Jeg kan ikke se nogen anden måde at få klarhed over fordele og skadevirkninger af HPV-vaccinen på, end ved transparent og uafhængig analyse af data fra alle relevante kliniske forsøg”, siger hun og sender et umisforståeligt budskab til både Cochranes ledelse og forskerne.

”Det er, hvad jeg forventer af Cochrane, og jeg håber meget, at de og forfatterne til kritikken i BMJ EBM kan arbejde sammen mod dette fælles mål”, siger hun.

Hun selv forventer dog ikke nogen hurtig afklaring.

”Nøgleproblemerne med evidensbasen i dette tilfælde lader til at være, at mange af forsøgene stadig ikke er publicerede, blev finansieret af lægemiddelproducenterne, og ikke så på de rette komparatorer (det, et virkestof sammenlignes med, red.) eller outcomes. I lyset af de problemer er det usandsynligt, at usikkerheder om effektiviteten og sikkerheden i denne vaccine løses hurtigt”, mener Fiona Godlee.

”Magtkamp" i Cochrane

Åbenhed ligger da også i Cochranes DNA.

”Det er et særkende ved Cochrane. Jeg synes, det er godt ved Cochrane, at disse uenigheder rammer nyhedsstrømmen. Det er meget sundere for organisationen at være åben om dem”, siger journalist og forfatter Alan Cassels, der har skrevet en bog om Cochrane samarbejdets historie, The Cochrane Collaboration – Medicine’s Best-Kept Secret – som udkom i 2015.

I dag er han kommunikationsdirektør i Therapeutics Initiative, en organisation, hvis mission minder om det danske Institut for Rationel Farmakoterapi, og som er grundlagt af University of British Columbia, Canada.

Han har fulgt samarbejdet i årevis og ser f.eks. ikke meget nyt i debatter om balance, der f.eks. er i Danmark om det nordiske centers rolle.

”De har altid haft den spænding. Er det vores job kun at lave reviews og lade læger og patienter tage beslutninger ud fra det, eller bør vi være mere aktivistiske og f.eks. arbejde for at ændre sundhedspolitikken?”, siger han.

Lige nu er der dog tegn på, at Cochrane samarbejdet står midt i en fundamental splittelse. Det har HPV debatten i høj grad bidraget til.

”Ledelsen i øjeblikket ønsker formentlig ikke at få opmærksomheden afledt af denne kontrovers. Jeg tror, at de er bekymrede for Cochranes troværdighed, og de er formodentlig ukomfortable ved at få disse kontroverser ud i det åbne”, siger Alan Cassels.

Her er ledelsen på direkte kollisionskurs med det nordiske center, hvis leder professor, dr. med. Peter Gøtzsche, er med i bestyrelsen. For øvrigt med Alan Cassels opbakning – han var en af de stillere, der sidste år anbefalede Peter Gøtzsche ved valget.

Dertil kommer efter Alan Cassels mening også personlighedssammenstød internt i bestyrelsen.

”Peter Gøtzsche har altid været en ret kontroversiel figur. Han er meget kort for hovedet, til tider brutal. Men Cochranes ledelse, som sidder i London, er meget mere engelske. De er høflige, og det hele drejer sig om konsensus”, siger han.

”Men han (Peter Gøtzsche, red.) har mange allierede blandt organisationen”.

Den ulmende strid i Cochrane kan komme til udtryk allerede de kommende dage på stormødet og bestyrelsesmødet, som finder sted i Edinburgh i Skotland.

Der kan forventes intense debatter om både balance, troværdighed og måske især uafhængighed.

Peter Gøtzsche selv har takket nej på grund af tidspres til interview til denne artikel, men lader forstå, at bestyrelsesmødet kan blive ”meget grimt”, fordi der er ”en regulær magtkamp i gang om, hvordan kursen for Cochrane skal være”.

Ugeskriftet.dk har kontaktet Cochranes ledelse for en kommentar. Vi følger op, når der foreligger svar.