Publikationsaktiviteten på Aalborg Sygehus

Introduktion: I 2003 blev Aalborg Sygehus en del af Århus Universitetshospital. I den sammenhæng øgedes fokus på forskningsaktiviteten. Denne artikel undersøger implikationerne heraf i forhold til antal publicerede forskningsartikler samt deres kvalitet.

Materiale og metoder: Alle videnskabelige artikler fra Aalborg Sygehus i perioden 2002-2008 udgør datagrundlaget for analysen. Der anvendes niveauinddeling af tidsskrifter på baggrund af Journal Performance Indicators i kombination med peer-review som kvalitetsmål for publikationer, således at publikationer, der er udgivet i ansete tidsskrifter, tildeles en højere pointsats end andre. I sammenhæng med antal publikationer opnås dermed et mål for forskningens kvalitet og omfang. Metoden sammenlignes med journal impact factor .

Resultater: Data viser en stigning i publikationer pr. år, imens det gennemsnitlige antal point pr. artikel falder i løbet af perioden. Resultaterne viser, at der er en sammenhæng imellem publikationers pointniveau og antal samarbejdspartnere, således at store samarbejder oftere publiceres i ansete tidsskrifter.

Konklusion: Undersøgelsen viser, at fokuseringen på forskning har medført øget publikationsaktivitet uden en entydig forringelse af kvaliteten, da faldet i point pr. publikation skyldes et øget antal samarbejdspartnere. Resultaterne viser, at den anvendte metode med fordel kan revideres for at øge konklusionens klarhed.

Aalborg Sygehus har gennem de seneste otte år gennemført en gennemgribende ændring af forskningsledelse, -organisation og -infrastruktur. Dette skete dels som led i bestræbelserne på at blive kvalificeret som en del af Århus Universitetshospital i 2003, dels efterfølgende for at styrke forskningen, forskningsbaseret uddannelse og højt specialiseret klinik. Som led i forandringsprocessen blev Afdelingen for Universitetshospitalsanliggender med patent- og kontraktkontor, EU-kontor og kommunikationsenhed grundlagt i 2005. Samme år blev Forskningens Hus med forsknings-, uddannelses- og innovationsfaciliteter indviet [1]. I 2008 indførtes en ny evalueringsmodel for forsknings- og udviklingsaktiviteter [2]. Formålet med modellen er at skabe overblik over omfanget og kvaliteten af den forskningsmæssige aktivitet på Aalborg Sygehus, samt hvilke resurser der er til rådighed inden for området. Modellen består af fem evalueringsområder, nemlig resurser & fundraising, videnproduktion, populærvidenskabelig formidling, innovation & teknologioverførsel, samt anden videnskabelig aktivitet, meritering og netværk. Disse fem evalueringsområder er inddelt i 25 indikatorer, som f.eks. publiceringen af videnskabelige artikler og bøger under området videnproduktion. Denne artikel beskæftiger sig med indikatorerne for videnproduktion, da Medicinsk Bibliotek på Aalborg Sygehus har registreret data for videnskabelige publikationer tilbage til 2002, mens data for de øvrige områder først er registreret fra 2007 via det nye indberetningssystem, der er knyttet til ovennævnte model.

Analyser af forskning via publikationer er et meget aktuelt emne i en tid, hvor stadig flere lande indfører statslige finansieringsmodeller for universiteternes forskningsmidler på baggrund af bibliometriske analyser. Dette er f.eks. tilfældet i Norge, Sverige, England og Australien [3], imens det i Danmark vil blive indført i den nærmeste fremtid [4]. Aalborg Sygehus har på publikationsniveau valgt at arbejde ud fra en tidlig udgave af den norske model for forskningsevaluering [5], da denne udgave tog udgangspunkt i sundhedssektoren og dermed de publiceringstraditioner, der findes inden for denne. Derudover tager modellen udgangspunkt i - og forsøger at kompensere for - de problemstillinger, der er identificeret ved lignende forsøg i Finland, Australien og England.

Artiklen præsenterer resultater fra modellen og analyserer tendenserne i publiceringsaktiviteten ved Aalborg Sygehus for perioden 2002-2008 med det formål at illustrere udviklingen i publiceringsaktiviteten samt at identificere mulige årsager til og/eller indvirkninger på denne. Artiklen vil blive fulgt op af en artikel med analyser af alle fem områder, når der foreligger data for minimum tre år.

Materiale og metoder

Den norske model for forskningsevaluering [5] bygger på en kombination af peer-review som kvalitativt element og en niveauinddeling af tidsskrifter efter anerkendelse med henblik på tildeling af point til publikationer, der er udgivet i disse, som sammen med antallet af publikationer skaber et kvantitativt element. Aalborg Sygehus' fortolkning af den norske model er baseret på en særlig udgave, der er udviklet for sundhedssektoren. Modellens primære evalueringsgenstand er artikler og reviews, der er udgivet i tidsskrifter med peer-review . Andre publikationstyper er også registreret i sygehusets database, og nogle af disse indgår i de øvrige indikatorer for forsknings- og udviklingsaktiviteter, f.eks. i form af posterpræsentationer eller videnskabelige bøger. I denne artikel vil fokus være på videnskabelige tidsskriftsartikler, hvilket omfatter primære forskningsartikler, reviews , kasuistikker og lignende, men ikke letters , kommentarer eller andre korte meddelelser. Disse artikler omtales herefter som publikationer. Publikationerne evalueres i sygehusets system på baggrund af to faktorer, nemlig det tidsskrift de er udgivet i og det antal afdelinger, der har medvirket til frembringelsen af publikationen. Den nøjagtige procedure herfor beskrives i det følgende.

For at en publikation kan tildeles point kræves, at den er udgivet i et tidsskrift med peer-review . Hvis tidsskriftet ikke har en peer-review -proces anses det ikke for at være af tilpas høj videnskabelig kvalitet til at kunne modtage point overhovedet.

Peer-reviewede tidsskrifter inddeles i niveauer på baggrund af deres anseelse og impact. I første omgang er anvendt de samme kriterier, som bliver brugt i forbindelse med den norske model, nemlig en rangordning af Institute for Scientific Information (ISI)-registrerede tidsskrifter inden for emneområdet medicin på baggrund af Journal Performance Indicators (JPI) [5], der er en specialenormaliseret udgave af Journal Impact Factor , der tillader sammenligninger på tværs af specialer. Tidsskrifterne er inddelt i niveauerne A (top 5% ISI-tidsskrifter), B (følgende 15% ISI-tidsskrifter) og C (øvrige tidsskrifter, herunder nationale). Desuden er der anvendt et niveau A*, der indeholder fem særligt ansete, generelle tidsskrifter fra niveau A, nemlig The Lancet, New England Journal of Medicine, Nature, Proceedings of the National Academy of Sciences og Science . Denne inddeling er videreført fra den anførte udgave af den norske model. Vi er opmærksomme på, at netop udtrækket til niveau A* kan forekomme arbitrært. Dette særlige niveau er et vigtigt element, men man vil på sigt overveje omfanget og indholdet af dette, ligesom de pointsatser der er tildelt hvert niveau muligvis bør revideres. I det anvendte datamateriale har vi dog benyttet de originale pointsatser, som er:

• A*:ti point fem tidsskrifter

• A:fem point 140 tidsskrifter

• B:tre point 351 tidsskrifter

• C:et point 388 tidsskrifter

Antallet i de første tre grupper er opgjort på baggrund af kriterierne, mens antallet i gruppe C er det faktiske antal tidsskrifter, Aalborg Sygehus har publiceret i. En publikation modtager de samme point, som det tidsskrift, den er udgivet i, hvorefter alle afdelinger, der har deltaget i produktionen (opgjort på baggrund af forfatternes afdelingstilknytninger), modtager en vægtet andel af pointene. Hvis en publikation består af bidrag udelukkende fra samme afdeling, modtager denne det fulde pointtal (formel 1.1). Hvis der deltager andre afdelinger, modtager førsteforfatterens afdeling halvdelen af pointene (formel 1.2), mens det resterende antal point fordeles på resten af de bidragende afdelinger (formel 1.3).

1.1

1.2

1.3

hvor PA er afdelingens point, PJ tidsskriftets point og N det totale antal afdelinger.

Evalueringsmetoden er blot en af mange forskellige [3, 6, 7], og når denne metode er valgt, skyldes det først og fremmest dens forankring i det sundhedsvidenskabelige system, dens lighed med det nationale indikatorprojekt [4] samt muligheden for sammenligning mellem afdelinger og muligheden for at evaluere på det forgangne år. Sidstnævnte er f.eks. ikke muligt, hvis evalueringen foretages på baggrund af faktiske citationer, som er en mere præcis metode, der dog forhindrer aktualitet, da citationer nødvendigvis tager tid.

Den anvendte metode sammenlignes med enkelkumulering af Journal Impact Factor (JIF) for alle artikler, der er udgivet i ISI-registrerede tidsskrifter. Den kumulerede JIF fordeles ikke efter afdelinger, men tildeles blot artiklen. Dette med det formål at sammenligne metoden, der er anvendt i nærværende artikel med den ofte anvendte kumulerede JIF.

Resultater

Resultaterne fra evalueringen af publiceringsaktiviteten viser en generel stigning i løbet af hele perioden (Figur 1 ). Set som en helhed er stigningen tilnærmelsesvis lineær. Den store stigning i publikationsaktiviteten i perioden 2005-2006 kan sandsynligvis tolkes som et resultat af den strategiske styrkelse af forskningen i 2002, hvilket også meget naturligt medfører et fald det efterfølgende år, hvor nye projekter er startet op.

Figur 1C viser desuden, at udviklingen i publikationspoint og kumuleret JIF udviser samme trend, men ikke er ensartet. Der forekommer især store forandringer i JIF, hvilket kan tilskrives nogle få publikationer i tidsskrifter med meget høj JIF. Værdierne i JIF-kurverne er altså i langt højere grad afhængige af nogle få publikationer end de publikationspoint, der er beregnet via den norske model.

Samtidig med store stigninger i aktiviteten sker der et lille fald i det gennemsnitlige antal point, en publikation modtager. Dette kan enten skyldes, at der deltager flere eksterne institutioner i produktionen af publikationerne, hvorved Aalborg Sygehus' andel falder, eller at publikationerne er udgivet i tidsskrifter på lavere pointniveau end hidtil. Det er væsentligt at afgøre årsagen til faldet i point pr. publikation for at kunne afgøre, om det er et fald i kvalitet eller ej. Derfor analyseres disse parametre nærmere.

En opgørelse af antallet af afdelinger, der har deltaget i produktionen (interne såvel som eksterne) - opgjort på baggrund af forfatteres adresseangivelser - indikerer, at der i perioden er en støt stigning (Figur 2 ) på trods af et fald i 2008. Selv om der her er tale om gennemsnitsværdier, der ikke siger meget om fordelingen, viser de en tydelig tendens. Samtidig er udviklingen i publiceringen på de forskellige pointniveauer stort set stabil over hele perioden (Figur 3 ). Udviklingen i point pr. publikation ser dermed ud til i højere grad at skyldes et øget antal deltagende institutioner end en forringelse i valg af publiceringskanal.

Databasen over Aalborg Sygehus' publikationer muliggør desuden en sammenligning imellem pointniveau og antal afdelinger. Det betyder, at det kan analyseres statistisk, om der er sammenhæng mellem antal deltagende institutioner i produktionen af publikationer og disses pointniveauer. Til denne analyse er niveau A og A* samlet i et niveau (A), da der ikke er data nok for niveau A* til at kunne analysere niveauet alene, og da tidsskrifterne på dette niveau alligevel er manuelt udvalgt fra niveau A.

En sammenligning mellem pointniveau og antal deltagende institutioner kan vises som en frekvensfordeling (Figur 4 ), hvor frekvenserne er blevet normaliseret til procentuelle angivelser. På den måde bliver niveauerne sammenlignelige. De faktiske analyser er udført på de originale data.

Figur 4 antyder, at der på niveau A deltager flere afdelinger end for de to andre niveauer. For med sikkerhed at kunne afgøre dette, er alle niveauerne parvis blevet sammenlignet. Distributionerne ligner Poissonfordelinger, og er altså ikke normalfordelte, hvorfor der anvendes Mann-Whitney U-test, med en nulhypotese om, at forskelle i fordelingen af stikprøverne ikke kan tilskrives statistiske tilfældigheder. Sammenligningerne har resulteret i p-værdierne p (A, C) = 0,000 p (B, C) = 0,000 og p (A, B) = 0,539. Med en signifikansgrænse på 0,05 forkastes nulhypotesen derfor i tilfældene (A, C) og (B, C) hvilket vil sige, at niveau A og B er signifikant forskellige fra niveau C i deres fordeling. Medianen for A og B er fire, mens den for C er tre. Det ses også af Figur 4, at A og B rimelig tydeligt har flere afdelinger pr. publikation. Da der ikke er nogen signifikant forskel på A og B, er konklusionen, at der deltager flere afdelinger pr. publikation på kvalitetsniveauer over C, end der gør på niveau C.

Diskussion

Resultaterne viser, at den anvendte metode er i stand til at beskrive udviklingen i videnskabelige publikationer for et universitetshospital, såvel kvantitativt som kvalitativt, samt til nærmere at præcisere forandringer i udviklingen, f.eks. fald i point pr. publikation, samt identificere årsager dertil. Udviklingen i publikationsaktiviteten indikerer desuden, at den strategiske forskningsindsats har givet afkast med tre-fire års forsinkelse. Et umiddelbart efterfølgende fald tyder på, at der rent faktisk er tale om projekter, som blev påbegyndt på nogenlunde samme tid, der er blevet afsluttet. Der foreligger ikke konkrete b eviser for dette, men det virker påfaldende med den konkrete udvikling.

Evalueringsmetoden blev bl.a. valgt, fordi den opfyldte et krav om aktualitet og sammenlignelighed. Da JPI er normaliseret i forhold til det enkelte speciale, er det muligt at sammenligne resultater på tværs af afdelinger, hvilket principielt er problematisk ved hjælp af almindelig JIF, da denne er afhængig af det enkelte speciale. Det vil være ønskværdigt i forhold til fremtidige undersøgelser at konstruere korrigerede udgaver af JPI, f.eks. i form af citation z-score [8], da ISIs JIF (og som resultat deraf JPI) har metodiske problemer i den måde den beregnes [9].

Resultaterne har vist, at der generelt deltager flere afdelinger i produktionen af publikationer på niveau A og B, hvilket indikerer en balance imellem den samlede arbejdsindsats og kvaliteten af artiklen og dermed balance imellem afdelinger, der ofte samarbejder bredt (og publicerer i mere anerkendte tidsskrifter), og afdelinger der som regel samarbejder snævert, hvis overhovedet. Dette er dog blot en indikation, fordelingen er ikke nødvendigvis tydelig nok til, at man kan konkludere endeligt, om den valgte metode bør revideres i forhold til fraktionering af point på de enkelte afdelinger, hvorfor dette bør undersøges nærmere. Resultaterne viser dog tydeligt, at det er problematisk, at den anvendte metode anvender to uafhængige parametre, hvor korrelationen imellem disse ikke afspejles i resultatet, hvorfor denne del af evalueringsmodellen bør undersøges nærmere. Dette gælder også for fraktioneringsniveauet, hvor det bør undersøges, om det er mere hensigtsmæssigt at fraktionere point på baggrund af forfattere end afdelinger. Fraktionering på forfatterniveau vil kræve mere omfattende registreringer af publikationerne, men til gengæld vil fordelingen potentielt svare bedre til den faktiske arbejdsfordeling imellem afdelingerne.

I forhold til aktualitet er den væsentligste problemstilling målingen af kvaliteten af publikationerne. Først og fremmest kan det diskuteres, hvad kvalitet er, og hvordan den objektivt kan måles. Seglen [10] mener f.eks., at den eneste korrekte måde at måle forskningens kvalitet er, at forskning bedømmes af fageksperter. Det er svært at være uenig i, at dette er den mest korrekte fremgangsmåde. Der er dog ingen tvivl om, at det også er den mest krævende metode til forskningsevaluering, hvorfor det efterhånden er standard, at forskningens kvalitet måles via det antal citationer en publikation modtager. Dette er dog problematisk i forhold til kravet om aktualitet, da citationer virker bagud i tid, dvs. en publikation har først modtaget en vis andel af sine citationer efter en årrække. Inden for klinisk medicin regner man således med citation half-life (den tid der går, før en gennemsnitsartikel har modtaget halvdelen af de citationer, den kan forvente at modtage) på seks år [11]. Dermed er det ikke realistisk at lave analyser af faktisk impact - dvs. citationer - på nyere publikationer. Traditionelt har dette været løst ved at bruge JIF. Senere undersøgelser har dog vist, at det er problematisk at anvende JIF som indikator, da der ingen statistisk sammenhæng er mellem JIF og den enkelte artikels citationer [12]. Først og fremmest er citationsfordelingerne for et givet tidsskrift ikke normalfordelte, men minder derimod i højere grad om et Paretoprincip, hvor få artikler står for størstedelen af citationerne [13], hvorfor man ikke bør beregne gennemsnit. Ikke desto mindre siger JIF noget om tidsskrifters impact , og ved at udvide tidsskriftsanalysen med andre indikatorer, som det er tilfældet med JPI, og ved at niveauinddele dem, kan man komme ud over de problemer, der er forbundet med eksakte JIF-angivelser og samtidig opnå den aktualitet, der ikke er mulig med målinger af faktisk impact .

Konklusion

Undersøgelsen har vist, at niveauinddeling af tidsskrifter til evaluering af publikationsaktivitet er en brugbar metode, der dog er forbundet med nogle problemer i forhold til klarheden af resultaternes betydning, der stadig bør undersøges nærmere. Metoden har potentiale til at kunne udvides i forskellige retninger. Resultaterne viser desuden en væsentlig stigning i sygehusets publikationsaktivitet, uden at dette har medført en forringelse af kvaliteten. Selv om publikationspointene pr. artikel falder i løbet af perioden, har en udvidet undersøgelse vist, at dette ikke skyldes, at man publicerer i tidsskrifter på lavere pointniveau, men at man i højere grad publicerer sammen med eksterne institutioner.

Metoden muliggør derudover detaljerede analyser af forskningsaktiviteten for sygehuset, hvor det f.eks. er muligt at analysere enkelte afdelinger. Da tidsskrifterne er niveauinddelte, er det muligt at komme ud over de problemer, der er i forhold til JIF i forbindelse med sammenligninger på tværs af specialer. Direkte sammenligninger mellem sygehusets afdelinger bør dog foretages forsigtigt, da der kan være væsentlige forskelle imellem de enkelte afdelingers samarbejdsomfang.

Jens Peter Andersen , Medicinsk Bibliotek, Sdr. Skovvej 15, 9000 Aalborg. E-mail: jepea@rn.dk

Antaget: 29. august 2009

Først på nettet: 25. januar 2010

Interessekonflikter: Ingen

1. Gregersen H. Forskningsberetning 2007 - for Aalborg Sygehus med bidrag fra Aalborg Psykiatriske Sygehus, Anæstesien og Ortopædkirurgien. Aalborg: Aalborg Sygehus, Århus Universitetshospital, 2007.
2. Andersen JP. Forsknings- og Udviklingsrapport 2007. Aalborg: Aalborg Sygehus, Afdelingen for Universitetshospitalsanliggender, 2008.
3. Sandström U, Sandström E. A metric for academic performance appl