Peer review af forskningsinstitutioner

Kontrol af forskning

Kontrol af forskningens kvalitet, effektivitet og anvendelighed har i de senere år tiltrukket sig stigende bevågenhed. Myndighederne har fokuseret på, hvad de får for de midler, som investeres i forskning, og i mediernes omtale af problemer ved behandling og forebyggelse spiller spørgsmålet om manglende eller tvivlsom forskningsmæssig dokumentation ofte en væsentlig rolle. Uden for forskerkredse er der nogen usikkerhed om, hvor i forskningsprocessen kontrollen finder sted, og hvad den omfatter.

Ansvaret for kontrollen ligger først og fremmest internt, dvs. i den gruppe og på den institution, hvor forskeren arbejder (nedenfor kaldt værtsinstitution). Hertil kommer, at indsigt og kritik på flere måder er indbygget i forskerens arbejdsmetode. Det er helt afgørende, at denne kontrol fungerer. Skulle vi udelukkende bygge på eksterne tiltag, ville ressourceforbruget blive enormt, arbejdsforholdene utålelige og mistilliden blomstrende. På den anden side har vi behov for en hensigtsmæssig kombination af intern og ekstern kontrol.

Den eksterne kontrol foregår på flere måder og er samtidig et led i forskerens og institutionens behov for at måle sin indsats i forhold til andres. Projekter vurderes initialt i forbindelse med optagelse på ph.d.-studie, ved finansiering og ved udstedelse af tilladelser. En række institutioner, myndigheder, udvalg og fonde forholder sig således principielt til det enkelte projekt. Dette sker altså, før projektet starter. De samme instanser kan komme ind med fornyet vurdering i et projekts forløb i forbindelse med ansøgning om nye bevillinger samt ved godkendelse af ændringer og forlængelser. Men de forholder sig til planer, intentioner og evt. statusrapporter, hvorimod en kontrol af slutproduktet meget sjældent er bevillingsgivernes eller myndighedernes opgave. Det er ganske uoverkommeligt og ej heller ønskeligt. Finansieringskilderne forholder sig dog i en vis udstrækning til den enkelte forskers, forskergruppes eller institutions funktion som helhed som baggrund for vurdering af den konkrete ansøgning, men det kan ikke gøre det ud for en samlet vurdering; og det har ikke andre direkte konsekvenser, end at ansøgeren enten får eller ikke får en bevilling.

Kvaliteten af et projekt skal stå sin prøve over for fagtidsskrifters redaktioner og universiteternes bedømmelsesudvalg af afhandlinger. Dette bliver offentlighedens garanti for, at man kan stole på afrapporteringen. Forskning er som oftest så kompliceret, at kun fagfolk kan vurdere, om det er fo-regået efter reglerne, og hvilke holdbare konklusioner man kan drage. For denne kvalitetskontrol ved publicering foreligger internationalt anerkendte regler (1), som indgår i manuskriptvejledningerne (2).

Kontrol kan finde sted: 1) inden projektet: på værtsinstitutionen, ved bevillingsgiver, ved »tilsynskomiteer« (videnskabsetisk komitésystem, multipraksisudvalget, Sundhedsstyrelsen), 2) under projektet: på værtsinstitutionen, via statusrapporter i forbindelse med ekstrabevillinger, og 3) efter projektet: på værtsinstitution, gennem bedømmelse i redaktioner og bedømmelsesudvalg.

Peerbesøg

Ovennævnte kvalitetssikring tager sig således kun af det enkelte projekt, som det fremtræder i publiceret form. Selv om omverdenen kan se, at der produceres god forskning, ved man ikke, om den har et rimeligt omfang i forhold til de indsatte ressourcer, eller om forskergruppen og institutionen lever op til sit formål. Vil man vide mere, kan man ty til peerbesøg. Disse kan kort beskrives ved en proces, nogle aktører og et produkt.

Processen kan udformes som en evaluering eller en facilitering. Elementerne er næsten de samme og omfatter i skitseform: 1) opgaven defineres af rekvirenten, 2) peerpanelet udvælges, 3) materiale indsamles til peerpanelet, 4) panelet forbereder sig, 5) besøg gennemføres, panelet møder rekvirenten og forskerne, 6) panelet skriver rapport til rekvirenten, 7) evt. reaktion fra forskerne og 8) opfølgning fra rekvirenten.

Rekvirenten kan være et ministerium, Statens Forskningsråd, en finansieringskilde eller institutionens ledelse. Rekvirenten skal formulere opgaven tydeligt. Det skal ske skriftligt i god tid før besøget og mundtligt ved besøgets start. Det kan spare tid og forebygger usikkerhed, fordi peerbesøg er ressourcekrævende, ikke mindst for dem, som skal besøges, fordi forskerne ikke nødvendigvis er begejstrede for ideen, og fordi der let kan opstå rygter om skjulte dagsordener.

Peerpanelet udgøres af erfarne, uafhængige forskere, som foretager bedømmelse i forhold til institutionens formål, samt på basis af nyligt produceret, igangværende og planlagt forskning.

Materialet består af originalpublikationer og forskningsplaner. Dertil kan komme visioner, strategier, årsberetninger, rapporter, budgetter, bemandingsplaner mv.

Produktet består af en rapport. Det er vigtigt, at alle er klar over, hvad rapporten skal bruges til. Det øger kvaliteten, gør opgaven fokuseret og skaber tryghed - eller fjerner i det mindste usikkerhed.

Nogle problemer

• Man kan ikke få alt med i en vurdering, selv når det er en ganske lille gruppe, der skal evalueres.

• Rapporten kan sjældent stå alene. Det er rekvirentens opgave at sætte den ind i en sammenhæng, fx en overordnet strategi for institutionen eller for det pågældende forskningsområde.

• Hvis panelet er internationalt, bør institutionen og dens forskning også være på internationalt niveau. Ellers er der mange misforståelser at udrede undervejs og bagefter. Drejer det sig om forskning, som foregår under specielle lokale eller nationale vilkår, er det ofte nødvendigt at have mindst et panelmedlem med lokalkendskab.

• Institutionens opbygning, forbrug af tid og ressourcer kan være vanskelig at bedømme, især vægten af andre opgaver ud over forskning, fx patientbehandling, undervisningsopgaver, produktion og ekstern rådgivning.

• De forskere, som skal besøges, skal være med i udvælgelsesprocessen af peers for at få relevante sagkyndige og undgå påvirkning af mulige tidligere konflikter mellem institution og peers. Det giver en vanskelig balance mellem habilitet og uhildethed.

• Man skal forholde sig til, hvor offentligt et peerbesøg skal være. Det gælder, hvor mange der skal overvære panelets udspørgen, og hvordan det efterfølgende resultat skal publiceres. En balance mellem åbenhed og tryghed.

Peerbesøg er blevet en ganske omfattende del af kvalitetskontrol, i øvrigt ikke kun inden for forskning. I store træk varetages besøgene af to grupper: paneler, som rekvirenten selv kontakter og sammensætter, og private firmaer eller offentlige institutioner, som har peerbesøg som deres arbejdsfelt. Der synes at være nogen forskel mellem disse to gruppers arbejdsmåde: Sidstnævnte markedsfører sig med ganske specifikke beskrivelser af deres tilgang til opgaven. I modsætning hertil viser kontakt med en række danske og amerikanske personer, som har deltaget i et betydeligt antal paneler, at de ikke henviser til nogen præcis beskrivelse af, hvad de yder eller til central litteratur på området. Her synes i nogen grad at være opstået en særlig kultur, hvor man lærer af hinanden ved at deltage.

Evaluering
Vægten lagt på kontrol

Genstandsfeltet er forskningens kvalitet, hvorved det bliver personernes faglighed, som sættes på prøve. En slags eksamen, hvor der er rene linjer, og rollefordelingen er klar. Der forudsættes ingen fortrolighed mellem peers og forskerne. Metoden egner sig til situationer, hvor rekvirenten kun blander sig lidt i institutionens arbejde, men alligevel har det overordnede ansvar. Den er også brugt som led i omstruktureringer evt. afvikling af en institution eller et forskningsområde.

Peers er ikke forpligtede til at gøre andet end at udtale sig om, hvad de finder godt og skidt. De er ofte uforpligtede over for løsninger og opfølgning. Man kan sige, at peers vurderer, om forskerne har løst deres opgave, men ikke hvordan og på hvilken baggrund.

Den første store evaluering af dansk sundhedsforskning fandt sted i 1992 (3).

Nogle problemer

• Evalueringer af store områder kan let blive overfladiske.

• Hvis møderne mellem forskere og panelet overværes af andre, kan det få en spændt karakter.

• Peers skal jo finde et eller andet at kritisere.

• Ved negativ vurdering, som får konsekvenser (angreb i pressen, fyringer, nedlæggelse), efterfølges en rapport ikke sjældent af de undersøgtes angreb på panelet for at være ukyndige, ukvalificerede eller ligefrem have uhæderlige motiver.

Facilitering
Vægten lagt på udvikling

Her ses på gruppens eller institutionens evne til at løse sin opgave, men i et forløb, hvor peers stiller forslag, yder assistance og er forpligtede til sammen med forskerne at finde løsninger. Man inddrager ledelsesform og forskernes evner, vilje og ressourcer til at løse opgaven: om organisationen er gearet til at løse opgaven. I reglen vil peers komme på genbesøg efter for eksempel et år. Peers skal ikke kun være estimerede, uafhængige forskere, men også have kendskab til institutionstype, problemløsning og ledelse. Facilitering er også en pædagogisk opgave, hvor man hjælper med at finde veje til udvikling.

Rapporten skal indeholde beskrivelse, underbyggede vurderinger, konklusioner, anbefalinger og aftaler om handlingsplaner. Desuden skal forskningslederen udarbejde kommentarer, inden rapporten tilstilles rekvirenten. Beskrivelsen af den gruppe/institution, man faciliterer, er ofte ganske tidskrævende for peers, men nødvendig som kvittering for, at man har forstået, hvordan institutionen fungerer. Lederen bør derfor godkende beskrivelsen af sin institution under forløbet, men selvfølgelig ikke vurderingerne. Beskrivelsen skal være tilstrækkelig, til at læserne kan forstå institutionens rolle, og indeholde relevant baggrundsviden for de fremsatte vurderinger (4).

Nogle problemer

• Peers kommer tæt på. Forskerne kan være usikre på, om peers er hjælpere eller kontrollanter.

• Samtaler med mange forskellige medarbejdere hver for sig kan bringe meget frem og skabe uro.

• Resultaterne kan lettere manipuleres end resultater fra den rene evaluering. De er svære at efterprøve, fordi så mange af præmisserne er kommet frem i løbet af samtaler. Derfor skal rapporten være opbygget som den gode forskningsartikel, hvor præmisser og konklusioner er klart adskilt.

• Man skal undgå, at der er personlige misforhold mellem peers og forskerne.

• Facilitering kan sætte meget i gang, nogle gange for meget, med forventninger som overstiger viljen og ressourcerne.

Reprints: Gert Almind, Brogaardsvej 70, DK-2820 Gentofte.

Antaget den 22. november 2002.

Novo Nordisk Fonden, Gentofte.