Videnskabelig publicering: Forskere skal måles på andet end artikler og citationer

»Kun én ting står mål med den gnist, en forsker mærker, når han ved, at han har fat i noget, som kan få stor betydning. Og det er, når han deler sin forskning med andre. Når han publicerer«.

Sagt af den amerikanske Nobelpristager Harold Varmus.

Lige præcis det: at forskere er så ivrige efter at dele deres resultater med omverdenen, er grundlaget for, at videnskabelig publicering er en milliard-industri, som beskrevet i artiklen »Fri adgang til forskning er guld værd – for forlagene« i Ugeskrift for Læger nr. 23, 2022.

Forskerne »fodrer« nemlig de store kommercielle forlags forretning ved at publicere mere og mere, betale dyrt for at publicere og desuden arbejde gratis med fagfællebedømmelser og redigering for tidsskrifterne.

Men de gør det ikke kun for at mærke den »gnist«, som Harold Varmus taler om, men først og fremmest af simpel nødvendighed. For systemet er sådan skruet sammen, at hvis du vil frem i verden som forsker, så er du nødt til at publicerer den ene artikel efter den anden, helst i et af de 25 toptidsskrifter, og så skal du også høste en masse citationer. »Publish or perish« – »Publicer eller forsvind« lyder dogmet.

I flere år har meritsystemet ellers været kritiseret for at vægte kvantitet frem for kvalitet.

Og nu tager kritikken til. For hvad med kvaliteten af forskningen? Og hvad med patienterne, kommer forskningen overhovedet dem til gavn?, lyder de kritiske spørgsmål.

Formand for lægeforeningens forskningsudvalg og postdoc på Frederiksberg Hospital ved Center for Klinisk Forskning og Forebyggelse Sanne Marie Thysen er blandt dem, der gerne så en ændring af målemetoderne.

»Som systemet er nu, siger det ikke noget om kvaliteten af den forskning, der bedrives. Jeg kunne godt forestille mig, at det vægtede mere, når forskning enten påvirker behandlingen på en afdeling eller på politisk niveau, så der bliver ændret i anbefalinger og retningslinjer«.

Samme holdning har næstformand i LVS, Lægevidenskabelige Selskaber, professor i intensivmedicin ved Rigshospitalet, Anders Perner:

»Problemet starter med, at produktet ikke er, at vi skal gøre det bedre for den næste patient – produktet er den næste artikel«.

Selv har han i sit cv noteret, at han har været med til at ændre i guidelines, for det er vigtigere end antal publikationer og citationer, mener han.

Internationalt er der også kritik af systemet, nogle lande går andre veje, og et helt nyt europæisk initiativ vil reformere forskningsvurderinger, som vi kender dem.

Læger bliver målt og vejet

Når en læge vil gøre karriere som forsker, vægter i dag først og fremmest de såkaldt bibliometriske målemetoder – alt det, som kan tælles.

Og tælles kan den akademiske gennemslagskraft af det tidsskrift, forskeren publicerer i: den såkaldte Journal Impact Factor, JIF, som beregnes ud fra antal af citater af et tidsskrifts artikler over en toårig periode. Jo højere, desto bedre.

En JIF på tæt ved 100 har ellers været toppen af poppen, men det har COVID ændret på. På grund af den store aktivitet under COVID-pandemien er JIF for nogle tidsskrifter stukket helt af, og The Lancet har overhalet NEJM, New England Journal of Medicine, som ellers har været førende i mange år.

The Lancet har mere end fordoblet sit JIF fra 79,3 til nu 202,731, mens NEJM næsten fordoblede sit tal fra 91,2 til 176,1.

Tælles kan også, hvor mange artikler forskeren sætter sit navn på, og tælles kan hver eneste gang, artiklerne bliver citeret.

Målestokken for forskerens produktivitet og videnskabelige betydning er det såkaldte H-indeks. Og her gælder det også om at have så højt et tal, som muligt.

H-indeks bliver også kaldet Hirsch Index eller Highly Cited Index, og er opkaldt efter opfinderen af indekset fysikeren Jorge E. Hirsch.

Indekset dækker antallet af publikationer sammenholdt med antallet af citationer. Måske ikke helt soleklart, men artiklerne listes i faldende orden efter antal citationer, og der hvor placeringen på ranglisten falder sammen med antallet af citationer, ligger forskerens H-indeks.

Det betyder, at en forsker med ti artikler, som hver er citeret mindst ti gange har et H-indeks på 10, mens en enkelt artikel, som har givet ti citater, giver et H-indeks på 1. H-indeks har stor betydning bl.a. i forbindelse med ansøgning om fondsmidler.

Som olympiske lege for læger

Det store fokus på de kvantitative målemetoder har konsekvenser. En af dem er ifølge Sanne Marie Thysen, at læger skriver alt for mange artikler.

»Det er en del af problemet, at vi læger bliver målt på antallet af artikler. For det gør, at vi fokuserer på at publicere. Selv om de fleste er enige i, at vi skal lave mindre men bedre forskning«, siger Sanne Marie Thysen.

»Det er noget, jeg selv er blevet mere opmærksom på: Vi skal ikke bare forske, fordi vi kan. Vi skal være kritiske og virkelig overveje hver eneste gang, om vi skal bruge vores energi på et forskningsprojekt. Bidrager det med noget eller lægger det sig bare i halen af noget, der allerede er lavet? Vi skal spørge os selv: Er min forskning vigtig nok? Eller skal vi skrotte nogle projekter, så andre kan blive bedre?«.

Hun har ikke et grydeklart alternativ til meritsystemet, som det fungerer i dag, men mener, der er god grund til at se nærmere på det.

Anders Perner ønsker med sin forskning at optimere behandlingen af de patienter, han har ansvaret for fra indlæggelse til udskrivning. Og han er – i princippet – ligeglad med, hvor han publicerer sine resultater.

»I den ideelle verden er det ligegyldigt, hvor du publicerer – bare det er i orden, fair, transparent og hurtigt, så dine forskningsresultater så hurtigt som muligt kan komme patienterne til gode«.

I den virkelige verden står han imidlertid uden driftsmidler til forskning, og derfor går han gerne efter New England Journal of Medicine. Sådan som systemet fungerer, er det her hans artikler får den største udbredelse.

»For mig handler det meget om forskningsmidler – artiklerne og citationerne er nødvendige for at skaffe midler. Og at få en artikel i NEJM er som at vinde en guldmedalje i de olympiske lege«, siger han.

Men Anders Perner så gerne, at WHO kunne træde ind og styre publiceringsdelen, sådan som de tog tiltag til under coronapandemien.

»Det er et paradoks, at samfundet bruger milliarder af kroner på klinisk forskning, der skal hjælpe patienterne, og så har man overladt hele rapportingen til en industri og et system, som er helt uden transparens og udenfor demokratisk kontrol,” siger han.

Især, at der går så lang tid før forskningsresultater når ud, er et problem, mener han.

»Det kan koste liv. Hvis man er uheldig, går der et halvt år på at få resultaterne ud – og så er det et halvt års patienter, der ikke får den rigtige behandling. Finalt kan der gå endnu længere tid, fordi myndighederne og de videnskabelige selskaber også er lang tid om at få den nye viden kvalitetsstemplet og med i de forskellige guidelines«.

England har et andet system

Sanne Marie Thysen og Anders Perner er langtfra ene om at være kritiske over for mertisystemet.

Ifølge en rapport fra Det Frie Forskningsråd 2017 »Impact – redskaber og metoder til måling af forskningens gennemslagskraft«, forfattet af professor David Budtz Pedersen, har der igennem en årrække været en stigende bevidsthed om begrænsningerne ved de bibliometriske målinger i den videnskabelige litteratur.

Noget af kritikken går på at:

- antallet af citater ikke fungerer som en målestok for kvalitet

- det tæller med, når forfatterne selv citerer egne artikler

- studier, som ellers er vigtige og lødige, men ikke genererer så mange citationer, har sværere ved at blive optaget i tidsskrifterne. Det gælder for eksempel negative studier og replikationsstudier. Og studier inden for små fagområder, og felter, som ikke har høj status.

Med hensyn til H-indeks lyder en del af kritikken, at det kun egner sig til at sammenligne forskere, som er lige langt i karrieren. En ældre, garvet forsker har pr. automatik et højere H-indeks end en ung ph.d.

Der er også forskel på specialerne, f.eks. har kardiologi generelt højere H-indekser end f.eks. anæstesiologi, fordi der publiceres mere inden for kardiologi.

Metoden kritiseres også for at være for unuanceret til måling af gennemslagskraft og ikke særligt velegnet til at måle interdisciplinær forskning.

Nogle lande har da også taget skridt til at ændre på det eksisterende system.

England har siden 2014 haft et specielt system til evaluering af universiteternes forskning.

REF, Research Excellence Framework, kaldes det engelske system, som styres af nationale fonde og forskningsråd i England, Skotland, Wales og Nordirland.

Det bygger på en grundig evaluering af forskningen med fem års mellemrum, udført af et udvidet panel af fagfællebedømmere, også kaldet udvidet peer review. Flere bedømmere hentes ind fra private forskningsvirksomheder, organisationer og i nogle tilfælde offentlige myndigheder.

Formålet er at sikre kvaliteten af forskningen og at dokumentere, at de offentlige forskningsmidler bliver omsat til gavn for samfundet. Evalueringen omfatter både forskningsmiljøet, selve forskningen og effekten.

I den danske rapport »Impact – redskaber og metoder til måling af forskningens gennemslagskraft«, beskrives styrken ved den model sådan: »Den giver et fyldestgørende, nuanceret, kvantitativt og kvalitativt beriget billede af forskningens akademiske og samfundsmæssige gennemslagskraft«.

Men modellen har også sine bagsider og er til debat lige nu. Modellen kritiseres bl.a. for at være dyr. Evalueringen koster 4-5 mia. kr. pr. gang, og kritikere peger også på, at evalueringen øger konkurrencen mellem universiteterne.

Når det gælder målemetoder, er der også opbrud. De traditionelle bibliometriske metoder kritiseres for ikke at dække nutidens mediebillede.

Derfor kommer også nye bibliometriske målesystemer til. Det gælder Altmetrics, som tager højde for, at flere, især yngre, forskere benytter sociale medier i deres forskningsformidling. Altmetrics dokumenterer forskningens gennemslagskraft igennem blandt andet blogindlæg, video, tweets og downloads, og det gælder ikke alene artikler, men f.eks. også data og illustrationer produceret som led i forskningen.

Ny sammenslutning vil reformere forskningsvurdering

Ønsket om forandring er ikke af nyere dato. Helt tilbage i 2012 blev DORA, Declaration on Research Assessment, stiftet i San Francisco med det formål at gøre op med afhængigheden af de videnskabelige tidsskrifter og de kvantitative målinger, impact factor og citationer og i stedet fokusere på forskningens værdi.

Flere end 22.000 forskere og organisationer i 159 lande har tilsluttet sig DORA og arbejder for at forbedre evalueringen af forskning og forskere.

Men nu ti år efter har en ny international koalition med europæisk afsæt sat sig for at reformere forskningsvurderingen.

Coalition for Advancing Research Assessment (CoARA), som navnet lyder, blev etableret den 2. december 2022 og har repræsentanter fra flere end 350 organisationer fra 40 lande.

Initiativet er faciliteret af de europæiske universiteters organisation EUA, som dækker 850 universiteter, og af EU-kommissionen og Science Europa, som er en sammenslutning af 50 europæiske forskningsorganisationer.

Præsident for Science Europe Marc Schiltz sagde ved etableringen af CoARA:

»Public or perish og målinger har ført os ind i en blindgyde. Lad os begynde at erkende den fulde rækkevidde af den værdi, forskerne skaber«.

Flere end 100 underskrivere fra 25 lande har indtil videre skrevet under på, at de er klar til at tage konkrete skridt mod en reform, der skal sikre mere vægt på kvalitative vurderinger og en mere ansvarlig brug af kvantitative målemetoder.

Blandt dem er Danmarks Frie Forskningsfond og Danmarks Grundforskningsfond, Lundbeckfonden, Syddansk Universitet og Københavns Universitet.

De vil gøre op med »upassende« brug af impact factor, H-indeks og rangering af universiteter.

Meningen er også, at de skal udvikle nye kvalitative målemetoder og dele dem, og de skal lægge handlingsplaner og offentliggøre dem inden udgangen af 2023. Inden for fem år skal de mindst én gang have gennemgået og udviklet vurderingskriterier, værktøjer og processer.

Der sker også noget på de indre linjer her i Danmark, oplyser Danske Universiteter, en sammenslutning af de otte danske universiteter. Rektorerne har netop nedsat en arbejdsgruppe, som skal komme med forslag til grundlæggende principper for meritering af kompetencer og erfaringer inden for viden spredning. Det gælder bl.a. forskningsbaseret samarbejde, rådgivning og entreprenørskab. Arbejdsgruppen skal også overveje, om aktiviteter inden for open science er tilstrækkeligt mediterende i det eksisterende system.

I Lægeforeningen har forskningsudvalget haft besøg af ledende forhandler fra det Det Kgl. Bibliotek Kira Stine Hansen, som forhandler aftaler med de store videnskabelige forlag på nationalt niveau, oplyser Sanne Marie Thysen. Udvalgets medlemmer diskuterer nu, hvad lægerne kan gøre for at ændre på meritsystemet og dermed på magtbalancen mellem forlagene og forskerne.