Peer review er ikke baseret på evidens, men på traditioner og gode intentioner

Som forsker publicerer man sine fund og resultater i videnskabelige tidsskrifter. Publicering forudsætter dog, at ens manuskript slipper igennem peer review - på dansk fagfællebedømmelse.

Peer review som begreb kan dække over mange ting, men inden for videnskabelig publikation er der tale om, at »en anden kyndig forsker har godkendt forskningens kvalitet inden publicering« [1].

Peer review som metode har været anvendt i flere hundrede år [2] og er i dag uomgængelig i den akademiske verden. Systemets centrale betydning er dog paradoksal. Man ved nemlig ikke meget om, hvad peer review kan, og hvad det gør. Det er endda vanskeligt at nå til enighed om, hvad peer review præcist er. Kun inden for de senere år er man begyndt at studere og forholde sig kritisk til peer review som en metode til at bedømme forskningskvalitet med. De studier, der findes, er ud over at være få, særdeles forskellige og langtfra optimale, hvad angår metodologi og endemål [3-5].

Formålet med denne statusartikel er at give et overblik over eksisterende studier og på den baggrund tydeliggøre, at der kun er sparsom evidens for anvendelsen af peer review som kvalitetssikrende led i publikationsprocessen.

DEN TYPISKE BEDØMMELSESPROCES

Formålet med peer review er at udvælge manuskripter af »god« videnskabelig kvalitet samt at forbedre disse, både i form og i indhold. Konkret foregår det sådan, at et manuskript, som indsendes til en tidsskriftsredaktion, gennemgår en redaktionel screening, som skal sikre, at en række overordnede/formelle manuskriptkrav er opfyldt. Hvis dette er tilfældet, udvælger tidsskriftsredaktionen en eller flere eksterne bedømmere, som efter samtykke får tilsendt det pågældende manuskript for at vurdere, om det er egnet til at blive publiceret. Det er forskelligt fra tidsskrift til tidsskrift, om bedømmer(e) får oplyst, hvem forfatterne til et manuskript er; det afhænger af, om peer review -processen er åben, enkeltblindet eller dobbeltblindet. Uanset hvad, bør bedømmer(e) kun vurdere et manuskript i henhold til en række kriterier, såsom relevans, originalitet, sproglig fremstilling og ikke mindst videnskabelig/metodologisk kvalitet.

Antallet af bedømmere pr. manuskript kan variere, men mange tidsskrifter anvender som udgangspunkt to bedømmere. Hvis deres vurderinger/anbefalinger er enslydende, vil redaktionen typisk følge disse. Hvis bedømmerne er uenige, kan man bede en eller flere nye bedømmere om også at vurdere det pågældende manuskript. Der er ikke noget krav om konsensus, og i sidste ende er det en redaktionel vurdering, om et manuskript skal publiceres eller ej.

Redaktionel screening har vist sig at være velegnet til at frasortere manuskripter, som ikke lever op til et givent tidsskrifts krav. Den tid, der går, fra manuskripter indsendes, til der foreligger en vurdering, mindskes, og det samme gør arbejdsbyrden for bedømmerne [6]. Hvad angår værdien af ekstern bedømmelse, er der ikke konsensus. Resultaterne af nogle studier tyder på, at det er de samme manuskripter, der accepteres henholdsvis afvises, uanset om man nøjes med en redaktionel vurdering eller i tillæg anvender ekstern bedømmelse [7]. Resultaterne af andre studier indikerer, at ekstern bedømmelse har en værdi, men at det kræver mere end blot to enige bedømmere, hvis man skal kunne være sikker på, at de manuskripter, som accepteres, rent faktisk er egnede til at blive publiceret. Hvis man nøjes med to bedømmere, kunne man tilsyneladende lige så godt kaste en terning for at vurdere, om et givent manuskript skulle accepteres eller afvises [8].

BEDØMMERNE ER IKKE ALTID OBJEKTIVE EKSPERTER

Peer review -systemet er baseret på velvilje; man får hverken løn eller formel anerkendelse for at bedømme manuskripter på vegne af et tidsskrift. Som udgangspunkt bør bedømmeren være ekspert og have forskningserfaring inden for det område, som manuskriptet omhandler [1]. Definitionen og afgrænsningen af begrebet »ekspert« er dog vanskelig [3]. Typisk er bedømmeren/eksperten ældre/mere erfaren og en del af eliten inden for et givent felt. Denne elite har dog tilsyneladende en tendens til at være mere afvisende og skeptisk over for manuskripter, der repræsenterer nye/kontroversielle/mindre etablerede hypoteser/teorier [9, 10].

Ud over at være ekspert bør bedømmer være så objektiv som muligt. Fuldstændig objektive bedømmelser er dog en illusion. Det gælder ikke mindst, når bedømmeren ved, hvem forfatterne bag et manuskript er; enten fordi peer review -processen er åben, eller i en blindet proces fordi bedømmeren ud fra tekst og referencer har gættet forfatterens identitet. Studier tyder således på, at kvindelige forskere, forskere fra mindre prestigefyldte institutioner, forskere med relativt få publikationer samt forskere, der præsenterer nye og kontroversielle hypoteser/teorier, har større risiko for at få deres manuskript afvist [11-13].

I nogle tilfælde vil bedømmeren være inhabil. Det gælder, når bedømmer og forfatter er enten venner/kollegaer eller konkurrenter. Risikoen for inhabilitet er større i mindre videnskabelige samfund, og/eller hvis der er tale om små subspecialer [3, 14-16]. Især kan tidsskrifter, som publicerer på små nationalsprog, have svært ved at rekruttere objektive eksperter som bedømmere. I de tilfælde, hvor bedømmere har konkurrerende interesser, kan der være risiko for bevidste forhalinger af bedømmelsesprocessen eller måske direkte manuskriptplagiering [3].

KVALITETEN AF AFGIVNE BEDØMMELSER

Det primære formål med peer review er som nævnt kvalitetssikring. Derfor bør bedømmere ideelt set kun udvælge og forbedre de manuskripter, der repræsenterer såkaldt god videnskab. I praksis viser det sig dog, at bedømmere kan overse fejl, sjusk og mangler [17].

En del af forklaringen er, at bedømmerne får flere manuskripter til bedømmelse, fordi tidsskriftsredaktionerne modtager flere manuskripter end tidligere [18]. Netop fordi peer review -systemet er baseret på frivillighed, er der grænser for, hvor meget tid man som bedømmer kan bruge på et givent manuskript.

Alligevel kan man godt diskutere, hvad der udgør en god bedømmelse, herunder hvilke tiltag der kunne tænkes at øge kvaliteten af afgivne bedømmelser. Det synes umiddelbart ikke at gøre nogen forskel, om bedømmerne modtager oplæring/undervisning [17] eller udstyres med omfattende tjeklister/rapporteringsretningslinjer [19]. Til gengæld synes bedømmelseskvaliteten at øges, hvis der i tillæg til »almindelige« bedømmere anvendes bedømmere, der besidder statistisk ekspertise [20, 21].

I en del randomiserede, kontrollerede studier har man undersøgt, hvorvidt det har betydning for bedømmelseskvaliteten, om selve peer review -processen er blindet eller åben [11, 16, 22-26]. Overordnet set har man i kke kunnet påvise, at en åben henholdsvis blindet proces har betydning for bedømmelseskvaliteten. På den baggrund og måske som led i en mere generel bevægelse mod åbenhed og gennemsigtighed har flere tidsskrifter, f.eks. BMJ, valgt at forlade blindet peer review til fordel for en åben proces [27]. Åbenhed muliggør, at bedømmer og forfatter kan indgå i en konstruktiv dialog om et manuskript [28]. Der er dog også risiko for, at bedømmerne ikke tør afvise »dårlige« manuskripter af frygt for repressalier. Det kan især være aktuelt i videnskabelige samfund, hvor bedømmere tilsyneladende foretrækker anonymitet [16, 29, 30]. For nationalsprogede tidsskrifter, som i forvejen har et begrænset antal bedømmere at trække på, kan et skifte fra blindet til åbent peer review således vanskeliggøre rekruttering af bedømmere.

De studier, hvor man har undersøgt, hvordan en åben henholdsvis blindet proces influerer på bedømmelseskvaliteten, er vanskelige at sammenligne på grund af metodologiske forskelle og svagheder, for eksempel med hensyn til randomiseringsprocedurer og blinding. Med hensyn til bedømmelseskvalitet som effektmål har man typisk scoret forskellige parametre, for eksempel om bedømmer var konstruktiv, uddybede sine kommentarer, formulerede sig klart og tydeligt etc., men man har ikke forholdt sig til korrektheden/nøjagtigheden af de afgivne bedømmelser [24]. I senere studier af åbent versus blindet peer review har man forsøgt at tage højde for dette ved også at inkorporere nøjagtighed i kvalitetsvurderingen [28]. Tilsyneladende har det betydning for bedømmelseskvaliteten, herunder bedømmelsesnøjagtigheden, om bedømmer og forfatter har mulighed for at kommunikere undervejs i processen. Dette gøres i dag indirekte via redaktøren, men man kunne overveje at muliggøre en direkte kontakt for at gøre processen hurtigere.

I nogle studier har man fortolket åbenhed mere vidtgående og undersøgt, om en fuldstændig åben proces med offentliggørelse af alle manuskriptversioner, bedømmerudtalelser mv. kunne være en måde at øge bedømmelseskvalitet på. Det synes dog umiddelbart ikke at være tilfældet [3].

Inden for de senere år er post-publication review også blevet undersøgt som et muligt alternativ/supplement til det nuværende pre-publication -system. Som navnet antyder, er der tale om, at et manuskript bliver bedømt, efter at det er blevet publiceret, eksempelvis i form af onlinekommentarer eller letters to the editor . Post-publication review giver i teorien mulighed for, at alle kan kommentere og/eller bedømme et manuskript, men i praksis er det dog vanskeligt at få folk til at ytre sig [18].

Alligevel anses post-publication review af mange for at være et både oplagt og nødvendigt alternativ/supplement til det nuværende system. Det synes ikke at være tilstrækkeligt, at et tilfældigt antal »objektive eksperter« vurderer, hvilke videnskabelige fund og resultater der når omverdenen. Der er således kun sparsom evidens for, at pre-publication review udgør et egentligt kvalitetssikrende led i publikationsprocessen. De forsøg, som man har gjort for at forbedre det nuværende system, har heller ikke vist sig at være særligt effektive. Hverken blinding, anonymitet eller oplæring af bedømmere synes således at gøre nogen forskel i forhold til at sikre eller forbedre kvaliteten af den forskning, der produceres og publiceres. Med andre ord er det på tide at erkende, at det nuværende peer review -system mest af alt ser ud til at være baseret på traditioner og gode intentioner.

src="/LF/images_ufl/ufl_bla.gif">
Siri Vinther , Gastroenheden, Kirurgisk Sektion, Herlev Hospital, Herlev Ringvej 75, 2730 Herlev. E-mail: sirivinther@hotmail.com

ANTAGET: 1. juni 2012

FØRST PÅ NETTET: 23. juli 2012

INTERESSEKONFLIKTER: Forfatternes ICMJE-formularer er tilgængelige sammen med artiklen på Ugeskriftet.dk

1. Styrelsen for Forskning og Innovation. Fagfællebedømmelse. http://www.fi.dk/viden-og-politik/tal-og-analyser/den-bibliometriske-fo… fagfaellebedoemmelse 2011 (1. april 2012).
2. Kronick DA. Peer-review in 18th-century scientific journalism. JAMA 1990;263:1321-2.
3. Smith R. Peer review: a flawed process at the heart of science and journals. J R Soc Med 2006;99:178-82.
4. Jefferson T, Rudin M, Brodney FS et al. Editorial peer review for improving the quality of reports of biomedical studies. Cochrane Database Syst Rev 2007;2:MR000016.
5. Rennie D. Integrity in scientific publishing. Health Serv Res 2010;45:885-96.
6. Johnston SC, Lowenstein DH, Ferriero DM et al. Early editorial manuscript screening versus obligate peer review: a randomized trial. Ann Neurol 2007;61:A10-2.
7. Lock S. Does editorial peer review work. Ann Intern Med 1994;121:60-1.
8. Neff BD, Olden JD. Is peer review a game of chance? Bioscience 2006;56:333-40.
9. Resch KI, Ernst E, Garrow J. A randomized controlled study of reviewer bias against an unconventional therapy. J R Soc Med 2000;93:164-7.
10. Phillips JS. Expert bias in peer review. Curr Med Res Opin 2011;27:2229-33.
11. Fisher M, Friedman SB, Strauss B. The effects of blinding on acceptance of research papers by peer review. JAMA 1994;272:143-6.
12. Wenneras C, Wold A. Nepotism and sexism in peer-review. Nature 1997;387:341-3.
13. Sandstrom U, Hallsten M. Persistent nepotism in peer-review. Scientometrics 2008;74:175-89.
14. Souder L. The ethics of scholarly peer review: a review of the literature. Learn Publ 2011;24:55-72.
15. Landy DC, Coverdale JH, McCullough LB et al. Prepublication review of medical ethics research: cause for concern. Acad Med 2009;84:495-7.
16. Vinther S, Nielsen OH, Rosenberg J et al. Samme kvalitet af bedømmelsen ved åbent versus anonymt peer review i Ugeskrift for Læger. Ugeskr Læger 2012;174:2077.
17. Schroter S, Black N, Evans S et al. What errors do peer reviewers detect, and does training improve their ability to detect them? J R Soc Med 2008;101:507-14.
18. Schriger DL, Altman DG. Inadequate post-publication review of medical research. BMJ 2010;341:3.
19. Cobo E, Selva-O'Callagham A, Ribera J-M et al. Statistical reviewers improve reporting in biomedical articles: a randomized trial. Plos One 2007;2:e332.
20. Black N, van Rooyen S, Godlee F et al. What makes a good reviewer and a good review for a general medical journal? JAMA 1998;280:231-3.
21. Tite L, Schroter S. Why do peer r eviewers decline to review? a survey. J Epidemiol Community Health 2007;61:9-12.
22. Isenberg SJ, Sanchez E, Zafran KC. The effect of masking manuscripts for the peer-review process of an ophthalmic journal. Br J Ophthalmol 2009;93:881-4.
23. Justice AC, Cho MK, Winker MA et al. Does masking author identity improve peer review quality? A randomized controlled trial. JAMA 1998;280:240-2.
24. van Rooyen S, Godlee F, Evans S et al. Effect of blinding and unmasking on the quality of peer review - a randomized trial. JAMA 1998;280:234-7.
25. van Rooyen S, Godlee F, Evans S et al. Effect of open peer review on quality of reviews and on reviewers' recommendations: a randomised trial. BMJ 1999;318:23-7.
26. Alam M, Kim NA, Havey J et al. Blinded vs. unblinded peer review of manuscripts submitted to a dermatology journal: a randomized multi-rater study. Br J Dermatol 2011;165:563-7.
27. Smith R. Opening up BMJ peer review - a beginning that should lead to complete transparency. BMJ 1999;318:4-5.
28. Leek JT, Taub MA, Pineda FJ. Cooperation between referees and authors increases peer review accuracy. Plos One 2011;6: e26895.
29. Walsh E, Rooney M, Appleby L et al. Open peer review: a randomised controlled trial. Br J Psychiatry 2000;176:47-51.
30. Lipworth W, Kerridge IH, Carter SM et al. Should biomedical publishing be "opened up"? Toward a values-based peer-review process. J Bioeth Inq 2011;8:267-80.