Forskningsbarometer: hvorledes monitoreres forskningsaktivitet og hvordan sammenlignes den ?

Nylige analyser placerer dansk sundhedsvidenskab højest pr. investeret krone og med den største andel af mest citerede artikler. Mange forskningsfelter har flere citeringer end gennemsnittet i de aktuelle tidsskrifter (Matthæuseffekten). Det er jo paradoksalt, fordi de danske forskningsbudgetter er nedskåret meget i de seneste 20 år - og samtidig er der sket et skift fra langsigtede statslige til kortsigtede eksterne midler - dette medfører, at kontinuitet erstattes af krav om hurtige resultater. Dansk sundhedsforskning har altså indtil nu vist sig at være forbløffende robust over for den stadig nedadgående tendens; men det er meget tvivlsomt, om man kan fortsætte den nuværende politik uden irreversible skader! Metoderne i kvalitetsmåling bliver stadig mere sofistikerede, men der er fortsat fejlkilder, som man forsøger at udbedre. Metoderne virker retrospektivt, og det er nødvendigt at supplere med instrumenter, der monitorerer forskning her og nu.

Dansk sundhedsvidenskabelig forskning er et flagskib i dansk forskning. Vi har en lang tradition for sundhedsforskning på et højt internationalt plan og for en international placering i den absolutte top. Der er derfor ikke noget at sige til, at de aktive forskere, forskningsledelserne og de bevilgende myndigheder til stadighed har en interesse i at vide, hvordan forskningen har det, så positionen kan bevares.

I 1990 skrev Tor Nørretranders om dansk forskning, at Danmark var et af verdens stærkeste lande, når det gjaldt kvaliteten af den lægevidenskabelige, naturvidenskabelige og teknisk-videnskabelige grundforskning, at dansk forsknings kvalitet synes at have været stærkt stigende gennem 1970'erne, men at den var stagnerende eller faldende gennem 1980'erne og fortsat ville være faldende (1, 2).

Det var konklusionen på en meget omtalt analyse og et tv-program i 1990, men det kunne såmænd lige så godt være skrevet i dag.

Sundhedsvidenskabelig forskning skal sikre forebyggelse, diagnostik og behandling af individet på et videnskabeligt grundlag. Det sker i vore dage desværre for sjældent som spektakulære landvindinger, men oftest som gedigen forskning, der lægger sten på sten på en for samfundet næsten umærkelig måde. Det er der ikke meget gloria i, og derfor er det naturligt, at samfundet og ikke mindst politikerne efterlyser resultater, der er til at tage og føle på, og at forskerne kan forfalde til at komme med mere eller mindre præmature forenklinger om denne eller hin forskningsaktivitet.

Forskningsevaluering

Dansk sundhedsvidenskabelig forskning gennemgår til stadighed evaluering. Et eksempel var den internationale Sundhedsvidenskabelig forskning og Organisationen af Forskningen Internationalt Evalueret (SOFIE) (3), en ret lapidarisk analyse af et par sundhedsvidenskabelige områder blandt andet den kardiovaskulære forskning. Et andet eksempel er anvendelse af bibliometriske analyser til vurdering af forskningsinstitutionernes indbyrdes effektivitet og gennemslagskraft (4). Et tredje eksempel er de analyser, der årligt foretages af den danske forskningsøkonomi som led i OECD-samarbejdet. Endelig er der de nationale udredninger (5-7).

Alle de nævnte metoder er desværre behæftet med store fortolkningsbegrænsninger, der nemt overses. Derfor kan en debat om forskningens stade komme til at virke unuanceret og præget af modsætningsfyldte udsagn som Nørretranders' på den ene side i »Dansk Dynamit« om dansk forsknings snarlige død som følge af manglende bevillinger, og på den anden side af bibliometriske statistikker, der fortsat viser, at Danmark er i en suveræn international førerposition. Eller at dansk forskning er præget af for små institutioner og er for ustruktureret, over for at dansk forskning i international sammenhæng er den mest omkostningseffektive. Eller at den ene institution er bedre end den anden baseret på utilstrækkelige opgørelser.

Der er derfor grund til at gå lige så kritisk til målemetoderne for forskningsaktivitet, som det videnskabelige samfund normalt går til selve forskningsprocessen.

Status for dansk sundhedsvidenskabelig forskning

Hvordan står så Danmark? Den korte version er: forbavsende godt. Robert M. Mays artikel (8) er en gennemgang af nationernes »videnskabsrigdom«. Af den fremgår det, at dansk forskning i forhold til befolkningsstørrelsen har en fin placering, hvad angår produktionsstørrelse og citeringer. Det er specielt den sundhedsvidenskabelige del, der fremhæves. Sammen med andre nord- og vesteuropæiske stater indtager Danmark en fornem position. Man nævner, at det er universiteterne, og herunder derfor også universitetshospitalerne, der er sværvægterne, der hvor forskningen kommer fra, og at kombinationen af uddannelse og forskning er et særdeles væsentligt aktiv for forskning og klart er mere effektiv end rene forskningsinstitutioner uden undervisningspligt og dermed uden adgang for unge.

Den Europæiske Kommission udgav i forbindelse med optakten til et europæisk forskningsrum nøgletal for de forskellige lande, hvad angår forskningsinvesteringer, forskningspersonale og forskningsproduktion. Opgørelsen er baseret på nationale såvel som internationale data (9). Af analyserne fremgår det, at den danske forskningsproduktion korrigeret for befolkningsstørrelse ligger lige efter Sverige, der er på førstepladsen. Danmarks andel af den ene procent mest citerede publikationer er 1,62%, altså en klar førsteplads i verden. Disse data er baseret på publikationerne fra 1997 til 1999.

En analyse af Matthæuseffekten, som i bibliometrisk forstand består i, at de, der har mange citationer, skal få endnu flere, viser med udgang i journal impact factor for perioden 1980-1989, at Danmark som helhed for ti år siden lå helt i top inden for stort set alle de såkaldt våde videnskaber (10).

Det medicinske forskningsråd i Sverige har opgjort den internationale rækkefølge for 30 forskellige sundhedsvidenskabelige specialer, hvad angår relativt impact baseret på publikationer for 1994-1998. For seks af 30 specialers vedkommende indtager Danmark førstepladsen. Der er kun et land, der har flere førstepladser, og det er USA (11).

Biomedicin er et flagskib i det meste af Skandinavien. 16,5% af al videnskab er inden for biomedicin, men i de skandinaviske lande er det 22,6%. Den danske biomedicinske forskning udgør hele 0,8% af verdensproduktionen.

Trods dystre forudsigelser med hensyn til dansk forsknings fremtid er der således tegn på, at forskningen på andet årti under nedskæring på nedskæring har holdt sin position i den absolutte verdenselite.

Som med rette hævdet af flere afspejler publikationsstatistikker forskningsaktivitet, der ligger år tilbage. Men det gør profetierne om de dystre udsigter også. Dansk forskning er i besiddelse af en bemærkelsesværdig robusthed, som end ikke årtiers systematiske nedskæringer og politisk mishandling har kunnet nedbryde. Der synes fortsat at være et stort forskningspotentiale inden for sundhedsvidenskaberne. Det kan man blandt andet se af mængden af højt kvalificerede ansøgninger til de forskellige bevilgende instanser. Således modtager Statens Sundhedsvidenskabelige Forskningsråd så højt kvalificerede ansøgninger, at syv ud af hver ti er på et højt internationalt plan (2001).

Fra forskning til forskning og uddannelse

Hvor robust dansk sundhedsvidenskabelig forskning er, bevises af dens håndtering af ph.d.-ordningens enorme ressourceforbrug.

Dansk sundhedsvidenskab har i løbet af de seneste ti år gennemgået en kulturrevolution. Forskning er blevet til forskning og uddannelse. En meget stor del af sundhedsvidenskaben gennemføres nu i formaliserede forløb a tre års varighed, ph.d.-studier. Der er ca. 1.000 »studerende«. Formelle krav udsiger, at mindst et halvt år skal anvendes til teoretisk uddannelse, et halvt år til aktivitet, der ikke er knyttet til det egentlige projekt, og et halvt år burde formelt tilbringes ved en udenlandsk institution. Endelig er der et betydeligt tidsforbrug i forbindelse med sammenskrivning af afhandlingen, der i sig selv relativt sjældent bliver gjort tilgængelig i en international sammenhæng. Mere end hvert tiende sundhedsvidenskabelige årsværk, svarende til ca. 400 årsværk, anvendes derfor til aktiviteter, der ikke direkte resulterer i dansk forskningsproduktion. Hertil kommer den infrastruktur, der beslaglægges af ph.d.-studiet i form af vejledning i stedet for egen forskning samt bedømmelser og undervisning.

Effekten af ph.d.-uddannelsen på forskningsproduktionen og dens kvalitet kendes endnu ikke, men ressourceallokeringen væk fra det forskningsproduktive kan spille en rolle for den svagt aftagende andel, dansk sundhedsvidenskabelig forskning har af verdensproduktionen. I hvor vid udstrækning ph.d.-afhandlinger efterfølgende medfører internationale publikationer skal belyses i et analysearbejde, der netop er sat i gang i et samarbejde mellem tidligere repræsentanter for de ph.d.-studerendes organisation og Statens Sundhedsvidenskabelige Forskningsråd.

Bibliometri - et objektivt mål ?

Bibliometri var oprindelig et værktøj for biblioteksansatte, der ved hjælp af opgørelser kunne finde ud af, hvilke skrifter og bøger, der var de mest læste og dermed havde større relevans i samlingen end andre. Gennem de seneste 20-30 år og specielt efter fremkomsten af elektroniske databaser har bibliometriske analyser vundet indpas i forsøget på at objektivisere såvel forskningskvantitet som -kvalitet.

Bibliometri er kvantitative opgørelser af forskellige kategorier af forskningsaktivitet, det være sig originalartikler, proceedings, letters, oversigtsartikler, bogkapitler, nationale og internationale publikationer, bøger og kronikker. For nogle fag er det vigtigere at udtrykke sig i aviser end i faglige tidsskrifter. Sundhedsvidenskab har imidlertid tradition for det sidste, og målgruppen er fortrinsvis international.

Ud over de kvantitative opgørelser over forskningsproduktion foretages der i tiltagende udstrækning analyser af, hvor meget de citeres. Der findes flere metoder til sådanne opgørelser. En er at anvende et tidsskrifts gennemsnitlige citeringsgrad, journal impact factor, som generelt stiger, jo mere betydningsfuldt og bredt dækkende tidsskriftet er. En anden er at foretage en optælling af citationer af den enkelte artikel. Det er betydelig mere tidskrævende.

Bibliometri skulle i princippet være monitorering af forskningsaktivitet og -kvalitet. Det skal anvendes på et overordentlig kvalificeret niveau, hvor såvel fagbibliometrikere som fagpersoner fra det pågældende videnskabsområde arbejder sammen. Den helt væsentlige indvending mod bibliometri som barometer for forskningen er, at den ser på forskningen i retrospektet. Registrering af forskningsproduktion er opgørelsen af forskningsaktivitet for år tilbage, og hvis citationsanalyser indgår, er der ofte tale om en endnu længere tidshorisont. En bibliometrisk analyse er derfor ikke særlig egnet til at foretage hurtigt indsatte korrektioner af forskningsvilkår ud fra. Mange analyser foretages på baggrund af tidsskrifters faglige profil. Hvis et speciale derfor i en periode sender til andre tidsskrifter end specialets faglige tidsskrifter, eksempelvis til et fysiologisk tidsskrift eller et tidsskrift med fokus på genetik i stedet for til specialetidsskrifterne, vil de pågældende artikler blive registreret som en forøgelse af fysiologisk forskningsproduktion respektive den genetiske, og det vil blive set som en svækkelse af det pågældende speciales egen forskningsaktivitet. Analyseværktøjer, der ikke tager højde for dette, er derfor mindre egnede til bedømmelse af, hvorvidt et speciales forskning går frem eller tilbage.

Analyse af gennemslagskraft kan som tidligere anført foretages med baggrund i et tidsskrifts gennemsnitlige gennemslagskraft eller i den enkelte artikels gennemslagskraft. Som nævnt underrepræsenterer tidsskriftets impact factor danske artiklers gennemslagskraft. En sand analyse bør derfor være baseret på citeringer fra den enkelte artikel (10).

Et andet aspekt er de internationale databasers dækning af dansk sundhedsvidenskabelig forskning. Tidsskrifterne skal gøre sig kvalificerede til at indgå i databaserne, og denne kvalifikation vurderes med jævne mellemrum. Det betyder, at tidsskrifter og ikke mindst de specialebaserede tidsskrifter kan gå ind og ud af analysematerialet fra år til år. Det betyder formodentlig ikke noget i en større sammenhæng, men det kan bestemt få betydning i det øjeblik, man ønsker at analysere det enkelte speciales gennemslagskraft over tid. Hertil kommer, at databaserne kommer til at indeholde flere og flere tidsskrifter, hvilket medfører, at antallet af publikationer og antallet af citationer fra periode til periode kan vokse ganske voldsomt, uden at det har sin basis i en reel stigning i antallet af publikationer og deres citationer.

En meget væsentlig fejlkilde er navne og adresseinhomogenitet. Danske sundhedsvidenskabelige forskeres kreative evner med hensyn til adressebenævnelser, er ganske overordentlig bemærkelsesværdige. Det har formodentlig ikke større betydning i nationale sammenligninger, dels på grund af publikationsantal, dels fordi der sjældent opstår konfusion med hensyn til landenavn, men hvis man ønsker at sammenligne forskningsinstitutioner inden for landegrænserne, er det kun muligt at gennemføre meningsfyldte analyser på grundlag af institutionens egen årsberetning, som har vist sig at være næsten fuldt repræsentativ (12). Derimod har analyser, der er baseret på konventionelle bibliometriske analysemetoder ved anvendelse af søgeord, vist sig at give temmelig meningsløse resultater (5).

For nuværende skal resultaterne af mange bibliometriske analyser altså tolkes med et forbehold. De afspejler i deres natur ikke dagens forskning, men gårsdagens, og den manglende standardisering af navne og adresser sætter betydelige begrænsninger for, hvad der kan analyseres. Opfølgningsudvalget vedrørende den såkaldte rammebetænkning og Statens Sundhedsvidenskabelige Forskningsråd beskæftiger sig løbende med denne problematik. Der er blevet udarbejdet rekommandationer med hensyn til kategorisering af forskningsproduktion og forskningsinstitutionernes adresseangivelser. Ligeledes har man foranstaltet en undersøgelse af dækningsgraden for den danske sundhedsvidenskabelige forskning i internationale databaser. Det har vist sig, at ca. syv ud af ti artikler er repræsenteret i de internationale databaser, hvilket er flot. Hovedparten af de res terende artikler publiceres i danske tidsskrifter, som på grund af manglende landangivelse ikke registreres i Scientific Citation Index. Undersøgelsen viste desuden, at sundhedsvidenskabelig forskning sker i et udbredt internationalt samarbejde. 40% af artiklerne i de internationale baser har udenlandske medforfattere eller førsteforfattere.

Forskningsøkonomi og mandskab

En anden indikator for forskningsaktivitet er forskningsøkonomien. Og den står i skærende kontrast til dansk forsknings høje stade. Der er i sandhed tale om på det jævne på det jævne i de seneste godt 20 år. Ganske vist viser statistikkerne en stigning i den procentandel af landets bruttonationalprodukt, der anvendes til forskning, men denne stigning kan altovervejende tilskrives erhvervslivets indsats. Sundhedsvidenskab beslaglægger mellem 21% og 23% af de offentlige forskningsbudgetter. Det har holdt sig stort set uændret de seneste ti år.

Dansk forskning har siden slutningen af 1970'erne været underkastet en meget restriktiv offentlig bevillingspolitik. Vi har altid ligget i underkanten af det europæiske gennemsnit, hvad bevillingerne angår. Forskning ligger langt nede på politikernes prioriteringsliste. Der har også været en tendens til, at politikernes løsningsmodel for forskningsfinansiering i vid udstrækning er overladt til erhvervslivet og andre eksterne interessenter. Det viser sig i fordelingen mellem de såkaldt frie basismidler, som forskningsinstitutionerne selv har haft at disponere over, og de midler, der skal indhentes udefra i konkurrence (statslige programmer, EU, fonde og sygdomsbekæmpende foreninger samt erhvervslivet) (Fig. 1 ). Som det ses, var 87% af den offentlige sundhedsvidenskabelige forskning i 1981 finansieret over de frie midler, og 13% var eksterne. I dag er det ca. 50%, der er eksterne midler. Dette har også afsmitning på, hvem der finansierer forskerstillingerne (Fig. 2 ). Der er ikke blevet flere ansatte i sundhedsvidenskabelig forskning. Antallet af forskningsansatte i offentlige stillinger er faldet, og det teknisk-administrative personales andel er faldet. Forskningsfinansieringen og forskningen er blevet mere kortsigtet på bekostning af den forskning, der initieres af forskningsinstitutionernes selv - den, der ikke på kort sigt behøver at give et klart resultat.

Industrien er blevet altdominerende i det sundhedsvidenskabelige forskningsregnskab. Det betyder ikke nødvendigvis meget mere forskning og bestemt ikke flere publikationer. Disse kommer næsten udelukkende fra de offentlige forskningsinstitutioner (ca. 95%) (13), og for op mod 80% vedkommende fra universiteterne og universitetshospitalerne. Industrien er udviklingsorienteret (14), og det offentlige er forskningsorienteret. Pengene til forskning i det offentlige er altså ikke blevet flere gennem årene, men forskningsfinansieringen og dermed processen er ændret.

Kan man stole på de økonomiske opgørelser ?

I årtier har OECD-landene hvert andet år og nu hvert år foretaget opgørelser over forsknings- og udviklingsaktiviteten i medlemslandene på baggrund af oplysninger, der er indhentet fra offentlige forskningsinstitutioner og fra det private erhvervsliv (15).

Hvad opgøres ?

Opgørelserne omhandler forskning og udvikling, der er udført af personer, der officielt får løn for det. Såkaldte fritidsforskere, altså personer, der eksempelvis udelukkende er ansat til klinisk virksomhed, men som alligevel udøver forskningsaktivitet, hører ikke med i opgørelserne. Hospitalsansatte har en tradition for at forske både i og uden for arbejdstiden, måske mest det sidste. Denne sidstnævnte forskningsaktivitet registreres altså ikke, og som følge heraf vil sundhedsvidenskabelig forskningsaktivitet have en tendens til at være økonomisk underestimeret. Ph.d.-forløbet registreres som fuld forskningstid. Det er som tidligere omtalt nok forkert. Mellem en tredjedel og halvdelen skulle ikke medregnes. Begrebet udvikling hører også med i statistikkerne. Det er et begreb, der anvendes meget fleksibelt. I de offentlige institutioner, der bedriver sundhedsvidenskab, er udvikling nok relativt veldefineret og udgør en mindre del af det, der opgøres. Dette er i modsætning til industrien, hvor den altovervejende aktivitet er en udviklingsaktivitet, selv inden for de nye videnstunge områder som bioteknologi (14). Når der derfor angives procenter af bruttonationalproduktet som udtryk for forskning og udvikling, er det muligt, at de danske opgørelser er sammenlignelige med andre landes, men det dækker langt mere end egentlig forskning.

Flere arbejdsgivere »fordærver«
opgørelsernes validitet

Inden for sundhedsvidenskab er der områder, hvor man ikke kan være i tvivl om, at forsknings- og udviklingsaktivitet hidrører under en arbejdsgiver. Det gælder for universiteterne. Det gælder derimod ikke for universitetshospitalerne. Her kan man derfor kategorisere forskning og udviklingspersonale på mange forskellige måder. Skal man betragte forsknings- og udviklingspersonalet og den tilhørende økonomi med udgangspunkt i sygehuset eller med udgangspunkt i universitetet? Det har gennem årene givet anledning til betydelig konfusion og ganske markante fejlregistreringer. For år tilbage registreredes en betydelig del af den statsfinansierede forskning, som om det var sygehuset, der betalte. Der var hertil tradition for, at sygehuset lagde 65% oven i beløbet som udtryk for de estimerede omkostninger, der var forbundet med forsknings- og udviklingsaktiviteten. Endelig regnede universiteterne også statsfinansieringen ind i deres regnskab. Resultatet var en betragtelig overestimering af såvel antallet af forsknings- og udviklingsansatte som af økonomien. Der er i de senere år blevet gjort store anstrengelser for at få elimineret sådanne fejlkilder.

Opgørelserne over forskningsøkonomi og mandskab kan således være usikre. Om usikkerheden er den samme fra land til land er ikke undersøgt. Det er heller ikke undersøgt, om usikkerheden medfører forskellig opgørelseskvalitet, afhængig af om det er den private eller den offentlige sektor, der opgøres, men en ting er sikkert: Med den karakter, sundhedsvidenskabelig forskning har, er usikkerheden meget stor og formodentlig betydelig større end for andre fagområder på grund af fritidsforskningen og på grund af det meget store forskningsvolumen i hospitalssektoren (>50%).

Opgørelserne med deres fejl og mangler anvendes i mange sammenhænge og med konsekvenser for sundhedsvidenskaben. Et eksempel er en publikation, som Danmarks Forskningsråd udgav i 2000 om udenlandske virksomheders køb af forskning ved danske forskningsinstitutioner og danske virksomheders køb ved udenlandske forskningsinstitutioner (16). Konklusionen var, at udlandet købte forsvindende lidt hos de danske forskningsinstitutioner, og at de danske virksomheder specielt i 1997 købte meget. I den videre argumentation blev det til, at danske forskningsinstitutioner havde en lukket kultur, og det kunne derfor tages som et yderligere argument for at ændre universiteternes ledelsesstruktur i retning af erhvervslivets.

Konklusionen er fejlagtig! Dansk sundhedsvidenskabelig forskning har alene inden for lægemiddelforskningen et særdeles intensivt samarbejde med udenlandske virksomheder. Når man derfor fremhæver, at det samlede udenlandske engagement i danske forskningsinstitutioner er forsvindende lille, står det i skærende kontrast til de meget store summer, udenlandske firmaer placerer i dansk sundhedsvidenskabelig forskning.

Konklusion

Den danske sundhedsvidenskabelige forskning har bevaret sin forn