Risiko for bias ved blindet versus ublindet vurdering af artikler i systematiske oversigtsartikler – en gennemgang af et Cochranereview

Vurdering af biasrisiko er essentiel ved vurdering at videnskabelige studiers kvalitet, og dette gælder ikke mindst, hvis man påtænker at inkludere studierne i et systematisk review eller en klinisk retningslinje. I en Cochraneoversigt [1] undersøgte man, hvorvidt vurderingen af risiko for bias i studier, der blev gennemgået med henblik på mulig inklusion i et systematisk review, blev påvirket af, om bedømmeren havde kendskab til forfatternes navne, institutioner, sponsorering, samt hvilket tidsskrift artiklen var publiceret i.

BIAS

Ved bias forstås alle mekanismer, der påvirker resultaterne af en givet undersøgelse i en bestemt retning. Bias kan opstå i alle led af en videnskabelig proces – ved inklusion, indsamling, registrering og præsentation af data. Typiske eksempler på bias er: selektions-, behandlings-, eksklusions-, detektions- og rapporteringsbias (som bl.a. dækker publikationsbias, sprogbias og selektiv rapportering af effektmål) [2]. I langt de fleste tilfælde vil tilstedeværelsen af bias medføre en overvurdering af behandlingseffekten. Bias kan være tilsigtet eller utilsigtet se Tabel 1for nærmere forklaring af de forskellige biasformer.

SCORINGSSYSTEMER

Der er igennem tiderne udviklet en lang række scoringssystemer til vurdering af videnskabelige artikler [3, 4]. Mest kendt er Jadadscore, men også Maastrichtkriterierne og Chalmers quality scale er velkendte og benyttet i denne oversigt. Fra Cochranesamarbejdet anbefales det, at man ikke anvender skalaer eller tjeklister, idet de ofte indeholder ikkerelevante emner og der ses ofte stor inter observatørvariation.

Det anbefales i stedet at benytte en domænebaseret evaluering, som vurderer hvert enkelt domæne for sig.

INTERVENTION

Interventionen i den aktuelle oversigt [1] bestod i at blinde de oplysninger på en artikel, der viste, hvem forfatterne var, hvilken institution de kom fra, hvem der var sponsorer, og hvilket tidsskrift artiklen var publiceret i.

Blindingen blev udført på forskellige måder. I nogle studier blev de ønskede oplysninger fjernet ved hjælp af reformatering på computer, i nogle tilfælde var de overstreget med en sort tusch, og i flere tilfælde var blindingsmetoden ikke rapporteret. Kontrolgruppen bestod af ublindede artikler. Man valgte ikke at blinde artiklernes resultatafsnit.

STUDIERNE I COCHRANEOVERSIGTEN

Inklusionskriterierne var alle studier, der sammenlignede blindet versus ublindet vurdering af bias-risiko i studier, der skulle inkluderes i Cochranereviewet. Der blev samlet oplysninger om både subjektive og objektive vurderinger, inklusive resultater fra forskellige scoringssystemer. Primært effektmål var forskellen i biasrisikoen angivet som mean difference. Som sekundære effektmål havde man valgt det kvalitative niveau af enighed (godt, moderat), variansen af biasrisikoscoringen og endelig inter-rater reliability-statistikken (kappa).

RESULTATERNE FRA COCHRANEOVERSIGTEN

Der blev fundet seks studier, der levede op til inklusionskriterierne. Studierne er publiceret i Canada, USA og Holland mellem 1996 og 2000. Alle studierne var randomiserede undersøgelser, der sammenlignede blindet versus ublindet vurdering af biasrisiko i studier, der skulle inkluderes i systematiske oversigter. Der blev anvendt varierende metoder til blinding af forfatter og tidsskriftet, hvor studiet var publiceret [5-10]. Der blev inkluderet mellem 12 og 107 studier. I to af de seks studier fandt mulig biasrisiko vurderet med Cochranesamarbejdets risk of bias-vurderingsværktøj, og i de resterende fire studier fandtes høj biasrisiko (Figur 1).

Resultaterne fra de seks studier var særdeles inkonsistente. To studier fandt, at man ved blindet vurdering scorede studiets kvalitet lavere [6, 8], et studie fandt, at man scorede kvaliteten højere, når der var blinding [9], og endelig fandt to studier ingen forskel mellem vurdering af blindede og ikkeblindede studier [7, 10]. Ved pooling af resultaterne fandtes en standard-mean difference på –0,13 (–0,42 til 0,16). Dette betyder, at der ikke var forskel på de to grupper i metaanalysen.

DISKUSSION

Denne Cochraneoversigt fandt det ikke muligt at konkludere noget entydigt om betydningen af blinding af forfatter og institution ved vurderingen af artikler til inklusion i oversigten. Dette skyldtes, at der kun fandtes seks undersøgelser om emnet, de var af relativt ringe kvalitet, og deres resultater var divergerende.

Vurdering af tilstedeværelse og størrelse af bias kan tænkes at blive influeret af, om man kender forfatteren personligt, eller ved at en eller flere forfattere er kendte og velestimerede – eller måske det modsatte. Kendskab til bestemte institutioner eller fonde kan muligvis også påvirke ens evne til at vurdere en artikel objektivt – mere eller mindre bevidst. Det er ikke utænkeligt, at dette kan være mere udtalt lokalt end internationalt; Danmark er et lille land, og inden for mange lægevidenskabelige specialer kender vi hinanden ret godt, ved, hvad hinanden står for, og at der også kan være konflikter mellem personer eller centre i nogle tilfælde. Der er naturligvis en ikke ubetydelig bias forbundet med at udvælge nogle artikler til publikation, både direkte og indirekte i forbindelse med udarbejdelse af systematiske oversigter.

På grund af de divergerende resultater må man have mistanke om en betydelig heterogenitet mellem de inkluderede studier. Dette afspejler de mange måder, man kan lave biasvurdering på og de mange holdninger til, hvad der er vigtigt. Desuden kan man overveje, om interventionen sikrer en egentlig blinding, idet der ofte kan være andre oplysninger i en artikel, der helt eller delvist kan afsløre, hvorfra den kommer, eller hvem der er forfattere. Det store spørgsmål er så, hvad dette betyder for det endelige resultat af den systematiske oversigt og dermed for klinisk praksis.

Det var ikke muligt at vurdere, om blinding af artiklernes resultatafsnit havde nogen betydning for vurderingen, idet man kun i et enkelt af de seks inkluderede studier havde blindet dette.

Det er vigtigt at skelne mellem blinding af forfattere, institution og tidsskriftet, som publikationen er trykt i (som er undersøgt i denne Cochraneoversigt), og blinding af effektbedømmer i det enkelte forsøg. Blinding af effektbedømmer er igennem de senere år blevet guldstandard ved opgørelse af resultater fra randomiserede forsøg og er den eneste blindingsform, der i praksis altid kan lade sig gøre. Hvis effektbedømmer ikke er blindet, medfører det stor risiko for subjektiv vurdering af forskningsresultaterne, som netop undersøgt af Hrobjartsson et al [11].

Der bør laves ny forskning på dette område. Ny undersøgelser bør være velgennemførte, randomiserede undersøgelser, som ud over at blinde forfattere og institution blinder forsøgenes resultater.

KONKLUSION OG ANBEFALINGER

Denne oversigt giver ikke noget entydigt svar på, om blinding af forfatter, institution og tidsskrift påvirker vurderingen af biasrisikoen. Imidlertid fremgår det af de inkluderede studier, at selve processen med at blinde disse oplysninger effektivt er en vanskelig og tidskrævende proces. Det anbefales derfor ikke ud fra den eksisterende evidens at gøre forsøg på at blinde artikler, inden de inkluderes i en systematisk litteraturoversigt.

KORRESPONDANCE: Ann Merete Møller, Anæstesiologisk Afdeling, Herlev Hospital, Herlev Ringvej 75, 2730 Herlev. E-mail: annmo@heh.regionh.dk

ANTAGET: 30. oktober 2012

FØRST PÅ NETTET: 4. februar 2013

INTERESSEKONFLIKTER: Hent PDF

src="/LF/images_ufl/ufl_bla.gif">

1. Morissette K, Tricco AC, Horsley T et al. Blinded versus unblinded assessments of risk of bias in studies included in a systematic review. Cochrane Database Syst Rev 2011;(9):MR000025.

2. The Cochrane Handbook. Chichester: Wiley-Blackwell, 2008.

3. Sanderson S, Tatt ID, Higgins JP. Tools for assessing quality and susceptibility to bias in observational studies in epidemiology: a systematic review and annotated bibliography. Int J Epidemiol 2007;36:666-76.

4. West S, King V, Carey TS et al. Systems to rate the strength of scientific evidence. Evid Rep Technol Assess 2002;(47):1-11.

5. Berard A, Andreu N, Tetrault J et al. Reliability of Chalmers’ scale to assess quality in meta-analyses on pharmacological treatments for osteoporosis. Ann Epidemiol 2000;10:498-503.

6. Berlin JA. Does blinding of readers affect the results of meta-analyses? University of Pennsylvania Meta-analysis Blinding Study Group. Lancet 1997;350:185-6.

7. Clark HD, Wells GA, Huet C et al. Assessing the quality of randomized trials: reliability of the Jadad scale. Control Clin Trials 1999;20:448-52.

8. Jadad AR, Moore RA, Carroll D et al. Assessing the quality of reports of randomized clinical trials: is blinding necessary? Control Clin Trials 1996;17:1-12.

9. Moher D, Jadad AR, Tugwell P. Assessing the quality of randomized controlled trials. Int J Technol Assess Health Care 1996;12:195-208.

10. Verhagen AP, de Vet HC, de Bie RA et al. Balneotherapy and quality assessment: interobserver reliability of the Maastricht criteria list and the need for blinded quality assessment. J Clin Epidemiol 1998;51:335-41.

11. Hrobjartsson A, Thomsen ASS, Emanuelsson F et al. Observer bias in randomised clinical trials with binary outcomes: systematic review of trials with both blinded and non-blinded outcome assessors. BMJ 2012:344:e1119.