Hvad indgår i en international evaluering af forskning?

Introduktion: For at sikre kvaliteten af forskningen er det nødvendigt regelmæssigt at foretage en ekstern evaluering af forskningsmiljøernes kvalitet og struktur set i et nationalt eller et internationalt perspektiv.

Materiale og metoder: Vurdering af forskning kan ske på forskellig måde. I artiklen omtales en audit-lignende ekspertvurdering på basis af forfatterens erfaring med vurdering af svensk psykiatrisk forskning i 2000 med kort sammenligning med danske forhold.

Resultater og diskussion: Blandt metodens fordele er, at forskningsevaluering kan foretages af forskningsmiljøernes medlemmer i en åben dialog mellem ligestillede parter, således at styrker og svagheder kan præciseres med henblik på hensigtsmæssig fremtidig strategi- og organisationsplanlægning. Blandt de indlysende begrænsninger er den kompetence, som tildeles ekspertgruppen, hvis sammensætning er betydningsfuld for resultatet.

Forskning spiller en afgørende rolle i det moderne samfund, og der er en lang række interessenter knyttet hertil, fx forskerne, universiteterne og andre stats- eller amtslige institutioner inden for sundhedsvæsenet og ikke mindst politikere. I Danmark indtager de statslige forskningsråd en central rolle for udviklingen af den nationale forskning gennem deres fondsfunktioner og strategiplanlægning.

For at sikre kvaliteten af forskningen er det nødvendigt regelmæssigt at foretage en ekstern evaluering af forskningsmiljøernes kvalitet og struktur set i et nationalt eller et internationalt perspektiv. I en tid med voldsom udvikling af den sundhedsvidenskabelige forskning, er det særligt vigtigt tidligt at identificere styrker og svagheder i den nationale forskning og at påpege nødvendige ændringer, således at forskningspolitik i bred forstand kan tilgodese den videnskabelige udvikling. Vurdering af forskning kan ske på forskellig måde, fx gennem rapporter som NASTRA-rapporten (1) og rapport for Medicinsk sundhedsforsknings vilkår og fremtid (2). Det kan også ske gennem en form for auditanalyse (3) af særlige forskningsområder, hvor en gruppe af eksperter i dialog med forskermiljøer foretager en vurdering af styrker og svagheder med henblik på at tilpasse forskningsstrategier og organisationsstrukturer.

I 1999 nedsatte det svenske medicinske forskningsråd (Medicinska Forskningsrådet [MFR]) en ekspertgruppe med henblik på at vurdere svensk psykiatrisk forskning. Ekspertgruppens arbejde er et eksempel på sidstnævnte metode, altså en primært kvalitativ vurdering af forskningsmiljøer. Aspekter af denne proces skal omtales i det følgende.

Materiale og metoder

MFR ønskede at belyse svensk psykiatrisk forsknings videnskabelige kvalitet, struktur, uddannelse og mobilitetsforhold for forskere, dens finansiering og overførsel af videnskabelig viden og teknologi til klinisk praksis og industri (Fig. 1 ).

Ekspertgruppe

Til denne opgave blev der udpeget en international ekspertgruppe med fem forskningsaktive psykiatere fra Europa og USA, der havde ekspertise inden for et bredt område af psykiatrisk forskning. Artiklens forfatter var formand for denne gruppe, der bestod af professorerne Ming Tsuang og Carol Tamminga, USA, Robin Murray og Eugene Paykel, England samt Markus Gastpar, Tyskland, med ekspertise inden for epidemiologi, neuro- og psykofarmakologi, klinisk psykiatri samt alkohol- og stofmisbrug. Ekspertgruppens arbejde resulterede i en rapport (4) med kort præsentation af de enkelte forskningsgruppers faglige profil.

Selvrapportering

Et hundrede og fem forskere, der havde modtaget støtte fra MFR indgik i undersøgelsen. De besvarede et spørgeskema udarbejdet af MFR med fokus på forskerens tilknytning til forskningsgrupper, deres organisation, struktur, økonomiske forhold samt videnskabelige publikationer og akademiske afhandlinger. Forskergrupperne blev yderligere bedt om at udpege højst fem af deres vigtigste videnskabelige publikationer fra de sidste fem år og at påpege styrker og svagheder samt planer for fremtiden. Dette materiale blev tilsendt ekspertgruppen før dens møde i Sverige i 2000.

Møde med forskergrupperne

Ekspertgruppen foretog i løbet af en uge dagslange møder med udvalgte forskergrupper i Stockholm, Göteborg og Lund/Malmö. Den fik en kort præsentation af forskermiljøet og havde herefter en dialog med både seniorforskere og juniorforskere.

Konsensus

På baggrund af materialet fra selvrapporteringen og møder med forskningsmiljøerne foretog ekspertgruppen herefter en vurdering af de i Fig. 1 anførte forhold.

Bibliometri

Bibliometriske analyser af det årligt publicerede antal artikler inden for hhv. klinisk psykologi og psykiatri samt neuroscience og behaviour ud fra National Science Indicators-databasen udarbejdet af Institute of Scientific Information i USA indgik også i vurderingen, hvor man sammenlignede svenske, andre skandinaviske og udvalgte europæiske lande samt USA med hinanden.

Resultater

Formålet med denne artikel er ikke i detaljer at omtale vurderingen af svensk psykiatrisk forskning, men at illustrere aspekter, heraf én af de måder, hvorpå international forskningsevaluering kan foretages.

Ekspertgruppen konkluderede, at svensk psykiatrisk forskning længe har været og stadig er blandt de førende i Europa, specielt inden for neurokemi, psykofarmakologi og epidemiologi. Denne forskning har bidraget til vores teoretiske forståelse af psykiske lidelser. Svenskeren Arvid Carlsson har fået Nobelprisen for dette arbejde. Også i udvikling af billeddannende metoder har svensk forskning haft en fremtrædende rolle. Svensk misbrugsforskning er et andet stærkt område.

De bibliometriske data viste, at svensk psykiatrisk forskning har haft stor indflydelse målt ud fra antal citationer per artikel. Udviklingstendenser for perioden 1990-1998, der antydede et lille fald, blev kun meget forsigtigt tolket af ekspertgruppen.

Ekspertgruppen påpegede en række faresignaler, især omkring organisatoriske forhold. Svensk psykiatrisk forskning udføres i tiltagende grad af ikkepsykiatere, og der er en aldersfordeling af aktive psykiatriske forskere med få i ledende stillinger, der er under 40 år gamle, hvilket kan hæmme fremkomsten af innovative metoder. Der er således en generationskrise i svensk forskning, som vil markere sig tydeligt i de kommende år. Kvinder var svagt repræsenterede på professor- og lektorniveau.

Svenske forskningsmiljøer har haft vanskeligt ved at tiltrække og fastholde yngre psykiatere inden for psykiatrisk forskning. Yngre forskere fremhævede typisk, at klinisk arbejde var så krævende, at der ikke blev tid til forskning. Forskerne nævnte også større vanskeligheder med at få fondsbevillinger til forskning end tidligere. Utilstrækkelige bevillinger gør det særlig vanskeligt at gennemføre store befolkningsstudier.

Ekspertgruppens hovedanbefaling var derfor en styrkelse af forskningen gennem øgede bevillinger til den yngre generation af forskere.

Diskussion

Ekspertgruppens vurdering af svensk psykiatrisk forskning minder om det klassiske peer-review af videnskabelige artikler, der indsendes til tidsskrifter med henblik på optagelse eller klinisk auditanalyse (3) med forskningen som patient. De beslutningsansvarlige vælger relevante fagpersoner fra forskningsmiljøerne, som de tiltror at besidde den nødvendige ekspertise på området. Evalueringen var primært af kvalitativ karakter, men som ovenfor omtalt inddrog man i undersøgelsen også visse bibliometriske data, som dog ikke vejede tungt i den samlede vurdering. Hvor man i auditanalyser tilstræber at benytte eksplicitte standarder for kvalitet baseret på et evidensbaseret grundlag, må man i ekspertvurderinger tilstræbe, at ekspertgruppens sammensætning er så bred, at de væsentligste forskningsområder tilgodeses. Ekspertgruppen bør dog så vidt muligt forsøge at eksplicitere de vigtigste kvalitetskrav. Det er lettest, hvad angår de bibliometriske analyser, hvor der er rimelig konsensus om kvalitetsmål.

I modsætning til den anonyme vurdering af videnskabelige artikler var det ekspertgruppens opfattelse, at dialogen var af stor betydning for vurdering af selvrapporteringsskemaer og litteraturlister samt specielt for diskussion af konkrete problemer i forskningen og dennes organisation.

Ekspertgruppen satte især pris på besøgene på de enkelte forskningsinstitutioner og muligheden for en indgående samtale med både seniore og juniore forskere. Problemer omkring den fremtidige rekruttering til forskningen kom tydeligst frem gennem samtaler med yngre ph.d.-studerende.

Som ved vurdering af videnskabelige artikler er det vigtigt at være bevidst om metodens begrænsninger. I det konkrete tilfælde undersøgte ekspertgruppen kun forskning, der var blevet støttet af MFR. Da forskningsrådsfinansieret forskning repræsenterer forskning af særlig høj kvalitet på et internationalt niveau, er det måske ikke en afgørende svaghed. Undersøgelsen pegede dog på, at der var relevante forskningsområder, fx inden for psykoterapi, som kun i begrænset omfang var finansieret af MFR.

Det må også anføres, at ekspertgruppen modtog annoterede litteraturlister fra forskningsgrupperne med fokus på de vigtigste publikationer, men at gruppen ikke havde tilstrækkelig tid og ressourcer til en detaljeret gennemgang af denne litteratur. Det er derfor vigtigt, at ekspertgruppen er bredt sammensat, når den skal udtale sig om forskningens dyder og skavanker. Man må naturligvis ikke overfortolke ekspertgruppens vurdering, men netop se den som et led i en løbende dialog. For dette er en meget vigtig funktion af sådanne vurderinger. Det skal ikke være en arrogant negativ kritik, men en konstruktiv og positiv rådgivning. Kun hvis den foregår under sådanne former, bliver den tvangfri og åben og kan styrke forskningen fremover.

Selv om evalueringen havde et specifikt formål og var begrænset til svenske forhold, er det dog tilladeligt at lade sig inspirere heraf ved analyse af dansk psykiatrisk forskning. Problemer omkring rekruttering af cand.med.er og utilstrækkelig tid til forskning i klinikken, generationskifte, skæv kønsfordeling og begrænsende fondsbevillinger er velkendte temaer i den danske debat. Undersøgelsen giver også anledning til en vis selvransagelse. Er dansk psykiatrisk forsknings faglige niveau konkurrencedygtigt i skandinavisk sammenhæng? Hvordan placerer forskningen sig ud fra bibliometriske mål? En detaljeret analyse heraf falder uden for artiklens formål. Det kan dog måske trøste, at svensk og dansk psykiatrisk forskning synes at have ens problemer!

Raben Rosenberg, Afdeling for Biologisk Psykiatri, Institut for Psykiatrisk Grundforskning, Psykiatrisk Hospital i Aarhus, DK-8240 Risskov.

Antaget den 2. december 2002.

Psykiatrisk Hospital i Aarhus, Institut for Psykiatrisk Grundforskning, afdeling for biologisk psykiatri.