Forskning og kvalitetsbedømmelse er uadskillelige begreber. Forskning bedømmes på stort set alle trin i konkrete projekter og i den enkeltes forskerliv: Ved ansøgning om støtte, ved ansøgning om stillinger, ved indsendelse af manuskripter, ved patentering, ved prisindstillinger og i det hele taget ved sammenligninger af forskere, forskningsgrupper, forskningsinstitutioner og nationer. Siden midten af det 20. århundrede er forskningen vokset eksplosivt og eksponentielt. Så verden i dag rummer millioner af forskere, der hvert år publicerer millioner af videnskabelige artikler. For den enkelte forsker udgør publikationerne hans/hendes professionelle alibi og er samtidig grundlaget for bedømmelse af den pågældendes indsats og værdi [1].
I et vist omfang bliver den individuelle forsker og publikation stadig bedømt på kvaliteten af det konkrete projekt og manuskript (f.eks. ved tidsskrifternes peer review af indsendte manuskripter). Men mange forhold forplumrer bedømmelsen. Der er flere og flere medforfattere på den enkelte artikel; ofte mere end ti, undertiden hundreder, og på enkelte publikationer er der nu registreret firecifrede forfattertal. Hvordan den enkelte forsker skal krediteres ved multiforfatterskaber, er et af tidens store problemer. Unge forskere har desuden et problem med mange seniorforskere, der ofte er medforfattere på artiklen. For ældre produktive forskere, for større forskningsgrupper, for ikke at tale om hele afdelinger, institutter og universiteter er antallet af publikationer efterhånden blevet så stort, at bedømmelse af hver publikation i praksis bliver uoverkommelig.
I ly af vækst og uoverkommelighed har kvantitative målinger af publikationer derfor gradvist vundet indpas verden over. Målingerne er i sig selv simple: Sammentælling af antal publikationer og antal citeringer pr. publikation. De kvantitative metoder kaldes bibliometriske. Bibliometri – undertiden også kaldet scientometri – er blevet ganske populært. Nu kan bibliotekarer, bureaukrater, kommissærer, administratorer og for den sags skyld også forskere tilsyneladende nøjes med få konkrete tal for at kunne sammenligne forskningsindsatser uden at skulle tage stilling til eller forstå indhold og kvalitet. En særlig populær, men også forkætret bibliometrisk parameter er JIF (»journal impact factor« eller blot »impact factor«). JIF blev for årtier siden introduceret af grundlæggeren af det amerikanske Institute for Scientific Information, Eugene Garfield, i dag Thomson Reuters i Philadelphia [2]. JIF var, som understreget af opfinderen, kun tænkt som et hjælpemiddel til videnskabelige tidsskrifter og deres redaktioner, som dermed kunne få et fingerpeg om den gennemsnitlige gennemslagskraft af det enkelte tidsskrifts artikler [3]. JIF udregnes som forholdet mellem antal citeringer og artikler i de foregående to år. På den måde kan hvert tidsskrift med mindst et par år på bagen udstyres med en impact factor, som kan variere mangefold, fra 0,01 til næsten 100 [3].
Impact factor-misbruget er efterhånden faldet så mange redaktører, tidsskriftforlag, forskere og forskningsinstitutioner i den vestlige verden for brystet, at man har iværksat en modbevægelse.
JIF er selvsagt blevet en konkurrenceparameter for tidsskrifterne i kampen om de bedste manuskripter. Men hvad værre er, bruges impact factor-tallene nu også af mange enkeltforskere og bedømmere som udtryk for kvaliteten af en ansøgers egen forskning. Dvs. fra at være en »journal factor« bliver JIF nu anvendt som en »scientist factor« for den enkelte forsker eller gruppe af forskere. Den konvertering er både urimelig [3] og egentlig også uredelig. De pågældende forskere ser hermed bort fra, at JIF er et gennemsnitstal baseret på to års publikationer i et tidsskrift, hvoraf ofte få med meget stor gennemslagskraft trækker læsset for hele tidsskriftet. De ser også bort fra et stort antal medforfattere på deres artikel (vide supra). Og sidst, men ikke mindst forveksler de citationer med kvalitet. Dvs. at f.eks. tynde og/eller kontroversielle artikler af ringe eller ingen værdi via megen diskussion kan få mange citationer og dermed opfattes og registreres som betydningsfulde.
Impact factor-misbruget er efterhånden faldet så mange redaktører, tidsskriftforlag, forskere og forskningsinstitutioner i den vestlige verden for brystet, at man har iværksat en modbevægelse. Den blev grundlagt ved et møde i Californien i 2012 med the San Francisco Declaration on Research Assessment (DORA) [4]. Siden er den fulgt op i bl.a. 2015 med the Leiden Manifesto om faren ved at bruge bibliometriske metoder til at bedømme forskningskvalitet. Mere end 500 forskningsinstitutioner og 12.000 enkeltforskere har nu signeret DORA under devisen: »When a measure becomes a target, it ceases to be a good measure«. Formålet med DORA er i stedet for bibliometri at få svar på spørgsmålene: Hvad har du opdaget? Hvorfor er det vigtigt? Hvad har du gjort ved det?
Mange forskellige institutioner har nu tilsluttet sig DORA, i England f.eks. alle syv statslige forskningsråd, The Wellcome Trust og UK Cancer Research. I Holland, Irland og USA har desuden flere universiteters medicinske og naturvidenskabelige fakulteter også engageret sig. Også overnationale forskningsorganisationer som EMBO (European Molecular Biology Organisation) er med. Hver institution og organisation har udviklet konkrete procedurer, der implementerer DORA-tankegangen [5]. I England beder f.eks. The Cancer Union og Wellcome Trust nu ansøgere om at beskrive deres bedste forskningsresultater og gøre rede for, hvorfor de er interessante. De frabeder sig angiveligt publikationslister, men hører til gengæld gerne også om andre meritter som patenter og bidrag til ændringer af »medical practice« og sundhedspolitik. University of Texas Southwestern Medical Center i Dallas beder stillingsansøgere om en beskrivelse af hidtidige bidrag og visioner for fremtidig forskning uden sædvanligt CV med publikationsliste, men evt. med et kort videointerview. Derfra udarbejdes en liste over de mest interessante ansøgere, som indkaldes til udførlige ansættelsessamtaler.
Vi tror ikke, at DORA helt kan fjerne brugen af JIF og andre bibliometriske mål. Men vi støtter implementeringen af DORA, som en langt mere relevant og mere værdifuld tilgang til vurdering af den enkelte forskers indsats. Sådan har man i øvrigt altid gjort i de store forskningsprisers bedømmelseskomiteer, f.eks. Nobelpris- og Brain Prize-komiteerne. Vi kunne derfor ønske, at også danske universiteter, forskningsråd og større fonde (f.eks. Kræftens Bekæmpelse, Lundbeckfonden, Novo Nordisk Fonden og Carlsberg Fonden) tilslutter sig DORA med dens bestræbelser for en mere rimelig og relevant kvalitetsbedømmelse.
LITTERATUR
Rehfeld JF. Forskerens alibi. En refleksion over publikationer og publikationslister. Ugeskr Læger 2000;162:2571-4.
Garfield E. Citation indexes for science: a new dimension in documentation through association of ideas. Science 1955;122:108-11.
Garfield E. The history and meaning of the journal impact factor. JAMA 2000;295:90-3.
Weston K. Kicking the impact factor habit: how institutes and funders are turning the DORA theory into practice. EMBO Encounters 2018;39:11.
