Jeg har ikke brug for endnu et AI-peer-review, jeg har brug for et menneske

Kunstig intelligens kan være et nyttigt redskab i forskning. Men når AI overtager store dele af fagfællebedømmelsen, risikerer vi at udhule både fortroligheden, proportionaliteten og den menneskelige dømmekraft, som peer review bør bygge på.

I den seneste tid er jeg stødt på stadig flere peer reviews, hvor det virker påfaldende tydeligt, at kunstig intelligens har været brugt til at formulere store dele af bedømmelsen. Jeg er som udgangspunkt positiv over for AI. Jeg bruger det selv og ser et betydeligt potentiale i både forskning og akademisk arbejde. Men når det gælder fagfællebedømmelse, opstår der efter min opfattelse nogle etiske og faglige problemer, som vi er nødt til at forholde os langt mere aktivt til. Det er ofte ikke kun indholdet, men også stilen, der vækker mistanke. Bedømmelserne er præget af overdrevne kommentarer, lange og oppustede forklaringer og krav, som går langt ud over, hvad der er rimeligt. De er ofte bygget op med et væld af underoverskrifter, hvor Hvert Eneste Ord Begynder Med Stort. Det kan virke som en detalje, men det er også et tegn på noget mere grundlæggende: at teksten ikke føles skrevet af et menneske med faglig dømmekraft, men genereret af et system, der efterligner grundighed uden nødvendigvis at forstå relevans.

Det mest problematiske er dog ikke formen, men proportionaliteten. Kommentarerne retter sig ofte mod detaljer, som har begrænset eller ingen betydning for artikelens fortolkning, forståelse eller overordnede budskab. Andre gange efterspørges ændringer, som ikke er mulige, fordi studiet allerede er gennemført, fordi begrænsningen er indbygget i designet, eller fordi forholdet allerede er tydeligt beskrevet i manuskriptet. Resultatet er en form for kritik, som ser grundig ud, men som i praksis kan være løsrevet fra både metode, kontekst og klinisk relevans.

Et andet oplagt problem handler om fortrolighed. Som fagfællebedømmere får vi adgang til manuskripter, som ikke er vores at dele. Hvis hele eller dele af et manuskript indlæses i en AI-tjeneste, rejser det uundgåeligt spørgsmål om, hvorvidt fortroligt materiale i praksis deles med systemer, vi ikke fuldt ud kender eller kontrollerer. Det er i sig selv et alvorligt problem. Men min største bekymring er dog en anden. Jeg frygter, at selve fagfællebedømmelsen er ved at blive udhulet. Peer review er ikke blot produktion af kommentarer. Det er en faglig disciplin, hvor man anvender erfaring, dømmekraft og proportionalitet til at vurdere, hvad der faktisk betyder noget, og hvad der ikke gør. Hvis denne vurdering erstattes af mekanisk, pseudo-grundig og detailtung kritik, risikerer vi at stå tilbage med reviews, der ser omfattende ud, men som bidrager med meget lidt reel værdi.

Jeg anerkender samtidig, at der også ligger et reelt strukturelt problem bag udviklingen. Det er allerede svært at finde kvalificerede fagfællebedømmere, og det bliver næppe lettere i de kommende år. Derfor er det også realistisk, at AI i en eller anden form bliver en mere naturlig del af reviewarbejdet fremover. Men netop derfor er vi nødt til at tage diskussionen nu. For hvis løsningen på manglen på reviewers bliver bedømmelser uden reel menneskelig dømmekraft, har vi så i virkeligheden stadig peer review — eller bare tekstproduktion forklædt som faglig vurdering?

Jeg er ikke imod AI i akademia. Tværtimod. Men hvis AI skal have en plads i peer review, kræver det klare grænser, tydelige normer og en åben diskussion af, hvad vi mener er acceptabel brug. Ellers risikerer vi, at fagfællebedømmelsen mister det, der gør den værdifuld: den menneskelige vurdering. Der er derfor brug for en principiel diskussion i det videnskabelige miljø. Ikke om AI kan bruges, men om hvordan det bør bruges, uden at fortrolighed, ansvar og faglig integritet går tabt.