Skip to main content

Automatiske reviews

Jeppe Bennekou Schroll & Britta Tendal Jeppesen

Ugeskr Læger 2019;181:V70174

4. feb. 2019
4 min.

Systematiske reviews er tidskrævende at skrive, og kravene til rapportering og metode øges løbende. Brede søgninger fører ofte til, at flere tusinde artikler skal kigges igennem, og herefter skal data fra de inkluderede studier ekstraheres, og studierne skal vurderes for risiko for bias. For at undgå fejl anbefales det, at to personer – uafhængigt af hinanden – vurderer studierne. De høje krav fører ofte til, at det tager lang tid at lave et review, og at de efterfølgende ikke holdes opdaterede. Dette kendte problem forsøges imødegået ved »levende reviews«. Det vil kort fortalt sige, at man løbende søger efter evidens og opdaterer sit review. Alle reviews kan ikke opdateres løbende, så det er foreslået at reservere denne review-type til emner, der har høj prioritet, hvor man er usikker på evidensgrundlaget, og hvor det er sandsynligt, at der kommer ny evidens, som kan påvirke praksis [1].

For at lette udarbejdelsen af reviews – levende såvel som konventionelle – er der udviklet flere værktøjer. I et nypubliceret Cochrane review har man gjort brug af programmet RobotReviewer [2]. Programmet kan automatisk lave tabeller over de enkelte studier og ekstrahere data om studiedeltagere, intervention og effektmål. Programmet er frit tilgængeligt og kan prøves på hjemmesiden robot-reviewer.vortext.systems. Ved at trække pdf-filer over på siden bliver data automatiske ekstraheret. Programmet vurderer også kvaliteten af studierne ved hjælp af Cochranes risk of bias tool udviklet til randomiserede kliniske forsøg (RCT). Oversigtstabeller er påkrævet i Cochrane reviews, men kan også give overblik i andre reviews.

I et studie undersøgte man overensstemmelsen mellem RobotReviewer og et menneske og fandt den acceptabel for vurderingen af randomisering og blinding, men for andre typer bias var der meget dårlig overensstemmelse, og man kan på nuværende tidspunkt ikke stole tilstrækkeligt på RobotReviewer [3].

Der er dog andre teknologier, som ser lovende ud. Cochrane har udviklet et koncept, Screen4me, til hjælp ved identificering af RCT’er i forbindelse med sorteringen af søgeresultater. På sigt skal konceptet kunne bruges til vurdering af, om et studie svarer på et specifikt fokuseret spørgsmål og dermed bør inkluderes i et review. I praksis fungerer det ved, at søgeresultaterne bliver sammenlignet med en database over RCT’er, der tidligere er fundet og vurderet i forbindelse med andre søgninger. Allerede vurderede studier sorteres fra. De søgeresultater, der er tilbage, vil systemet nu klassificere ved hjælp af machine learning. Systemet beregner, hvor sandsynligt det er, at et søgeresultat er et RCT. Hvis der er sandsynligt, at studiet er et RCT sendes det videre til forfatterne, som så foretager den endelige vurdering. Hvis det er usandsynligt, at det er et RCT, lægges det ud til Cochrane crowd til vurdering. I Cochrane crowd lægges små opgaver ud til Cochranes brugere, hvor flere brugere vurderer det samme studie. Tusindvis af studier kan vurderes i løbet af få dage. Alle kan deltage i Cochrane crowd, men inden man bliver sluppet løs, bliver man uddannet vha. en række opgaver. Cochrane crowd har i øjeblikket 10.000 brugere (4).

Sortering af studier er en stor del af arbejdet med systematiske reviews, og programmer som Covidence har gjort denne proces langt nemmere. Studierne bliver præsenteret med abstract, så man let kan tage stilling til, om studiet skal inkluderes. Flere forfattere kan arbejde på listerne på samme tid. Bagefter kan programmet hjælpe med at løse uenigheder, hvis der har været to til at vurdere hvert enkelt studie. Der er altså ikke nogen automatisering i det, men det gør processen nemmere. Det kan generere flow charts over inkluderede studier og giver mulighed for at lave dataekstrahering og risiko for biasvurderinger samt løse uenigheder om disse [5].

Selvom der er langt til automatiske systematiske reviews, er kunstig intelligens og crowd sourcing ved at gøre processen nemmere.

Korrespondance: Jeppe Bennekou Schroll, Gynækologisk-obstetrisk Afdeling, Hvidovre Hospital. E-mail: jschroll@gmail.com

Interessekonflikter: ingen. Forfatternes ICMJE-formularer er tilgængelige sammen med lederen på Ugeskriftet.dk.

Referencer

LITTERATUR

  1. Elliott JH, Synnot A, Turner T et al. Living systematic review: 1. Introduction – the why, what, when, and how. J Clin Epidemiol 2017;91:23-30.

  2. Goldkuhle M, Dimaki M, Gartlehner G et al. Nivolumab for adults with Hodgkin's lymphoma (a rapid review using the software RobotReviewer). Cochrane Database Syst Rev 2018;7:CD012556.

  3. Gates A, Vandermeer B, Hartling L. Technology-assisted risk of bias assessment in systematic reviews: a prospective cross-sectional evaluation of the RobotReviewer machine learning tool. J Clin Epidemiol 2018;96:54-62.

  4. http://crowd.cochrane.org/index.html (oktober 2018)

  5. https://www.covidence.org/home (oktober 2018)