Bør ny viden altid fagfællebedømmes før ibrugtagning?

Akademia og paradigmet om evidensbaseret medicin står over for mange udfordringer i forhold til hurtigt at få ny viden anvendt til befolkningens bedste.

Traditionelt er videnskabelige metoder kendetegnet ved at være grundige, ressourcekrævende og langsommelige, og samtidig fundamentet for at klinisk praksis baseres på stærkeste evidens. Desværre kan vejen fra hypotese, over evidens-generering, til implementering af ny viden være urimelig lang. Det tager i gennemsnit 17 år fra første videnskabelige publikation til implementering af et nyt lægemiddel eller device [1]. 17 år er lang tid! I november 2022 udkom ChatGPT, og i hver eneste efterfølgende måned er der sket store, innovative forbedringer. Med den udvikling i tankerne og med øje for implikationerne for sundhedsvæsenet rejser det en række spørgsmål: Hvordan harmonerer denne hurtige udvikling med en langsommelig forsknings- og implementeringsproces? Kan akademia fortsætte med at være aktuel, når markedet bevæger sig eksponentielt? Hvordan optimeres national implementering af fx sundhedsteknologier?

I den senere tid har disruptive kræfter slået sig løs i forskningsverdenen og rystet processen og fundamentet for forskning. Eksemplificeret ved en eksplosion af videnskabelige publikationer om COVID19, kunstig intelligens (AI) og sprogmodeller (LLM). De store tech-virksomheder som Microsoft, Apple og Google m.fl. opruster også og foretager mere og mere forskning.

Enhver, der har været involveret i akademisk forskning, databehandleraftaler og diskussioner med jurister, dataindsamling, udgivelse af resultater eller udarbejdelse af fondsansøgninger, er bekendt med de komplekse, tidskrævende og bureaukratiske processer.

En markant udvikling inden for videnskabelig publicering er den stigende praksis med preprints, hvor mange forskere vælger at offentliggøre artikler, før de har været igennem peer-review. Denne tendens tog fart under COVID-19-pandemien, hvor behovet for hurtig vidensdeling og formidling af resultater var afgørende for patienterne, samfundet og den øvrige forskning. Preprints har nu vundet stor popularitet som et middel til at fremskynde publiceringsprocessen og imødekomme de udfordringer, der opstod under pandemien, herunder især behovet for hurtig informationstilgængelighed og deling.

Den nuværende praksis med fagfællebedømmelse er ikke fejlfri, men bliver af mange betragtet som den bedste løsning til at sikre højeste kvalitet. Der er dog talrige eksempler på, at tvivlsomme videnskabelige artikler slipper gennem fagfællebedømmelse. Selv højt prestigefyldte tidsskrifter som The Lancet og New England Journal of Medicine måtte i 2020 tilbagetrække profilerede artikler vedrørende COVID-19 [2].

I det biomedicinske felt udgives mere end 1 million artikler årligt til PubMed databasen – svarende til mere end to artikler per minut [3]. I kølvandet på COVID-19 pandemien så vi hvordan tidsskrifter accelererede deres review proces for COVID-relateret materiale. Faktisk til sådan en grad, at tid fra submission til publikation blev reduceret med omkring 50%, ligesom en helt ny vaccine blev udviklet rekordhurtigt på ca. 12 måneder. Dette rejste også helt naturlige spørgsmål vedrørende kvaliteten – kunne man stole på det publicerede materiale? Bekymringer omkring hastighed og kvalitet af peer-review processen er ikke nyt. Forskere har længe klaget over systemet som værende for langsomt, konservativt, inkonsistent samt tilbøjelig til bias og fejl.

Den kraftige vækst i antal publikationer har bragt peer-review systemet til bristepunktet. Antallet af frivillige peer-reviewere kan ikke hamle op med det stigende antal af tidsskrifter og manuskripter. Den største hæmsko er manglende tid og prioritering af en ulønnet opgave. Mange inviteres til at reviewe artikler allerede efter deres første videnskabelige publikation. En måde flere tidsskrifter prøver at afhjælpe problemet på, er ved at inkorporere maskinlæring og automatiserede processer for at optimere hastigheden og objektiviteten i bedømmelsesprocessen.

Begrebet »Death by Peer-Review« belyser netop de udfordringer og kritikpunkter, der er opstået i forbindelse med denne proces. Disse inkluderer bekymringer om langsom sagsbehandling, potentielle bias, manglende gennemsigtighed og risikoen for at afvise banebrydende ideer eller resultater, der ikke passer ind i eksisterende videnskabelige paradigmer. Som reaktion på disse udfordringer har der været en stigende interesse for alternative metoder til at facilitere og evaluere forskningsresultater.

Flere forskere anskuer nu preprints som værende på tilnærmelsesvis samme kvalitetsmæssige niveau som peer-reviewede manuskripter [4], og med den fordel at det tilbyder en hurtig og bred distribution af resultater uden den sædvanlige forsinkelse. I AI og Natural Language Processing (NLP) er preprints nærmest blevet normen, som et resultat af at feltet bevæger sig for hurtigt til at man kan tillade sig andet. Denne tendens har forstærket principperne om åbenhed og samarbejde inden for det videnskabelige fællesskab. Platforme som arXiv, der tillader forskere at dele deres arbejde i de tidlige faser af forskningsprocessen, har demonstreret en påviselig positiv indflydelse på acceptanceraten ved videnskabelige tidsskrifter [5]. Samtidig med udbredelsen af preprints udfolder der sig ivrig diskussion om alternative tilgange til den konventionelle peer-review-proces. Åben peer-review, hvor anmeldernes kommentarer og identitet deles med forfatterne og offentligheden, samt post-publication peer-review, hvor bedømmelse implementeres efter offentliggørelsen, repræsenterer nogle af de foreslåede alternativer.

AI og NLP er i stor grad ingeniør-orienterede områder, der traditionelt har et andet forhold til peer-review, og hvor udviklingen går så hurtigt, at man ikke kan tillade sig at vente månedsvis på resultatet af en peer-review. I takt med at AI indgår i et stigende antal forsknings- og implementeringsprojekter i sundhedsvæsenet, står vi overfor den samme fristelse for at publicere artikler uden peer-review. Inden for AI-forskningen er det efterhånden veletableret, at peer-review nærmest er et »nice to have«. Det understøttes af at nye metoder og algoritmer altid gennemgår en ekstern validering, gennem evaluering på etablerede benchmarks og rammeværk. Eksempelvis vil en ny AI-model for oversættelse af tekst fra engelsk til dansk (som f.eks. Google Translate) afprøves på en stor mængde eksterne data, sådan at vi kan måle kvaliteten, i sammenligning med ældre modeller. Hvis resultaterne er bedre end tidligere modeller, betragtes det nærmest automatisk som et tegn på validiteten af en undersøgelse. Endvidere er det almen praksis at disse nye metoder offentliggøres igennem Open Source-lancering af den software der kræves for at replikere eksperimenterne. Denne form for transparens og open source-lancering er ikke nødvendigvis helt ligetil indenfor sundhedsforskning, hvor denne tradition endnu ikke har fundet fodfæste.

Sundhedsforskning rummer mange forskellige områder, og man kan overveje forskellige valideringsmetoder for videnskaben. Traditionel peer-review bør anses som en hjørnesten i akademisk forskning, der sikrer både kvalitet og troværdighed. Dog er det essentielt at anerkende nødvendigheden af at tilpasse denne proces til hurtigvoksende felter som AI og sundhedsteknologi. En nøje afvejet tilgang er afgørende, hvor man netop anerkender og kritisk tager stilling til de hurtigere, mere fleksible publikationsformer som preprints og åben peer-review, samtidig med at vi er opmærksomme på, at disse metoder endnu mangler det sidste kvalitetsstempel, som traditionel peer-review giver trods alt giver.