Dansen om »impact factor«

Forskningens omfang og betydning vokser. Det forholder myndigheder, bevillingsgivere og forskere sig i stigende omfang til med bibliometriske målinger. Det er også legitimt under den forudsætning, at målemetodernes begrænsninger respekteres - nøjagtigt som med andre metoder i forskning [1]. På det seneste er der imidlertid rejst alvorlig kritik af den meget anvendte parameter: journal impact factor. Den blev introduceret for 35 år siden af Eugene Garfield, der grundlagde Institute for Scientific Information, nu Thomson Scientific i Philadephia [2]. Faktoren er baseret på citationer og blev etableret som et internt arbejdsredskab i forbindelse med udvælgelsen af tidsskrifter til databasen Science Citation Index [2, 3].

Et tidsskrifts impact factor for f.eks. 2006 beregnes som det samlede antal citationer i 2006 for artikler publiceret i tidsskriftet i 2004 og 2005 divideret med antallet af artikler i tidsskriftet i 2004 og 2005. Impact factor øges derfor både af høje citationstal (tælleren) og lave artikeltal (nævneren). For tidsskrifter har impact factor udviklet sig til at være en afgørende konkurrenceparameter i kampen om de bedste manuskripter. Den er imidlertid også blevet fordrejet til en author impact factor, hvis størrelse udregnes ved at addere impact factor for de tidsskrifter, i hvilke man har publiceret. Author impact factor er blevet populær blandt en del forskere, bedømmelsesudvalgsmedlemmer og forskningsbureaukrater i den tro, at et enkelt tal er en genvej til objektiv bedømmelse af den enkelte forskers eller forskergruppes kvalitet. Men det er en fejl. Det har aldrig været meningen, at journal impact factor skulle bruges på den måde [3]. Det fremgår alene af impact factor's medfødte begrænsninger:

• Der er ikke sammenhæng mellem et tidsskrifts impact factor og konkrete artiklers citationstal, fordi impact factor er baseret på et gennemsnit af samtlige tidsskriftets artikler i to år [2-4]. De enkelte artiklers citationstal varierer betydeligt, og høj tidsskrift-impact skyldes oftest få artikler med særlig stor gennemslagskraft. Omvendt bliver mange artikler ikke citeret eller får kun få selvciteringer - også i høj-impact- tidsskrifter.

• Impact factor tager ikke højde for publikationstraditioner. Sammenligninger af impact factor scores fra forskellige områder er derfor meningsløse, også inden for lægevidenskab.

• Impact factor er som alle citationsparametre bagudrettet.

• Det vides ikke, hvordan den enkelte forsker på multiforfatterartikler skal krediteres med impact. Løsningen bør være, at journal impact factor slet ikke bruges som den misforståede author impact factor.

• Impact factor er baseret på et begrænset antal næsten udelukkende engelsksprogede tidsskrifter [2, 3]. Bøger og ikkeengelsksprogede tidsskrifter (som f.eks. Ugeskriftet) er stort set udelukkede.

• Som andre bibliometrimålinger er også impact factor plaget af fejlregistreringer.

Nu har ideen om journal impact factor's anvendelighed til at klassificere i tidsskriftshierakiet desuden fået et gevaldigt skud for boven af PLOS Medicine [5]. Redaktørerne erfarede i forhandlinger om tidsskriftets impact factor, at Thomson Scientific ikke alene bestemmer, hvilke tidsskrifter der kan indgå i impact factor- systemet, men også hvilke artikeltyper i det enkelte tidsskrift, der er citable. Det betød for PLOS Medicine, at hvis kun egentlige videnskabelige originalartikler blev medregnet, var impact factor 11. Men den faldt til tre, når også andre artikler (f.eks. oversigtsartikler, letters, policy documents o.l.) blev medregnet [5]. Hvad værre er, opererer Thomson Scientific ikke med gennemskuelige eller stringente kriterier for, hvilke artikeltyper der medtages eller udelades ved beregning af impact factor. Man vurderer tilsyneladende hvert tidsskrift tilfældigt. Hertil kommer, at Thomson Scientific er et privat foretagende, der skal sikre sine aktionærer udbytte. Det er ikke acceptabelt, at et sådant firma har afgørende indflydelse på offentlige forskeres arbejdsforhold og stillingsmuligheder.

Thomson Scientific malker sin guldko og bruger journal impact factor til at organisere sin database. Det er deres ret. Men vi andre bør overveje at slutte dansen om faktoren. Også før dens opfindelse vidste forskere, at nogle tidsskrifter var bedre end andre. Det behøver vi ikke impact factor til at fortælle os. Impact factor var et interessant forsøg, der har fejlet, fordi metodens medfødte begrænsninger ikke er blevet respekteret.