En ny videnskabelig fejlkilde: SILLY-bias

Vi analyserede citationer af systematiske oversigter og randomiserede forsøg publiceret i BMJ's julenumre i perioden 1997-2006. Artiklerne opfattedes ofte korrekt som humoristiske, men den humoristiske dimension blev overraskende let overset. Resultater fra et forsøg med fjernbøn for patienter, som allerede var døde eller udskrevne, blev taget for pålydende i 12 af 36 citerende artikler, heraf tre systematiske oversigter. Vi dokumenterer således en ny fejlkilde i medicinsk forskning: seriøs idiopatisk letargi ved legende ytringer (SILLY)-bias, både i citationspraksis og i metaanalyser.

Videnskab er en alvorlig sag. Seriøse lægevidenskabelige forskere vil - som regel - forsøge at offentliggøre vigtige resultater i prestigefyldte tidsskrifter, og ambitiøse redaktører af lægevidenskabelige tidsskrifter vil - som regel - forsøge at øge deres tidsskrifts prestige. En typisk lægevidenskabelig artikel er med andre ord ikke beregnet på morskab, men på at blive taget alvorligt og blive citeret.

Men en gang om året, typisk ved juletid, udgiver en række lægevidenskabelige tidsskrifter ironiske, muntre eller løjerlige artikler. Eksemplerne spænder vidt fra magnetisk resonans -skanninger af coitus over sabelslugning og dets bivirkninger til fuldmånens effekt på dyrs bideadfærd [2-4]. Julenummerartikler findes bl.a.i BMJ, Canadian Medical Association Journal og Medical Journal of Australia og fra i fjor også Ugeskrift for Læger.

Vi var fascinerede af denne usædvanlige grænseflade mellem humor og videnskab og overvejede, hvordan humoristiske artikler bliver opfattet og citeret. Især interesserede vi os for randomiserede forsøg og systematiske oversigter, da disse anses for de mest pålidelige metoder til at vurdere effekten af interventioner og kunne forventes at have den største indflydelse på den videnskabelige litteratur. Vi valgte at analysere BMJ's julenummerartikler, fordi BMJ er et af »de fem store« medicinske tidsskrifter [1], og fordi det har en lang tradition for julenummerartikler, hvoraf nogle har vundet Ig-Nobelprisen i medicin [2-4].

Vi har derfor analyseret alle artikler, som beskriver randomiserede forsøg og systematiske oversigter, der var offentliggjort i BMJ's julenumre over en tiårig periode. Vores formål var at analysere, hvordan artiklerne er blevet opfattet og citeret i den videnskabelige litteratur og at undersøge, om vi kunne finde eksempler på, at humoristiske artikler fejlagtigt er blevet opfattet som seriøse videnskabelige undersøgelser.

Materiale og metoder
Søgestrategi og inklusionskriterier

Vi læste alle BMJ's julenummerartikler fra 1997 til 2006 og inkluderede alle randomiserede forsøg og systematiske oversigter.

Klassifikation

Vi skrev til forfatterne af de inkluderede studier og bad dem om at karakterisere deres undersøgelse som enten »seriøs« eller »humoristisk«. Vi klassificerede artiklerne herefter, vel vidende at humoristiske artikler kunne have en implicit seriøs pointe.

Definition

Vi definerede en ny fejlkilde i medicinsk forskning, seriøs idiopatisk letargi ved legende ytringer (SILLY)-bias: fejlopfattelse af en humoristisk artikel som omhandlende data fra en seriøs videnskabelig undersøgelse.

Ekstraktion af data

Data fra de analyserede artikler blev ekstraheret af en forfatter og kontrolleret af en anden.

Citationer af inkluderede artikler

Vi noterede antallet af citationer for hver enkelt undersøgelse som anført i Web of Science (23. marts 2009). Vi beregnede en »BMJ-julenummer-randomiseret-forsøg-&-systematisk-oversigt-impact-factor « for hvert relevant år: Det samlede antal citationer af randomiserede forsøg og systematiske oversigter, der var publiceret i julenummeret i de to foregående kalenderår, divideret med det samlede antal randomiserede forsøg og systematiske oversigter, der var publiceret i julenummeret i de foregående to kalenderår. Vi noterede også antallet af citationer af randomiserede forsøg og systematiske oversigter, der var udgivet i november i BMJ samme år som en inkluderet julenummerartikel.

Resultater

Vi fandt syv randomiserede forsøg og to systematiske oversigter [5-13] (Tabel 1 og Tabel 2 ).

Påvirkning af den videnskabelige litteratur: citationer

De ni undersøgelser er blevet citeret 198 gange; heraf 63 gange i de første to år efter offentliggørelsen (Tabel 3 ). Vi fik ikke adgang til den fulde tekst af to artikler, og tre var skrevet på spansk eller hollandsk. Vores citationsanalyser er derfor baseret på 193 artikler.

Seks artikler blev kun citeret 1-3 gange inden for to år efter offentliggørelsen, mens tre artikler blev citeret 8-31 gange [7, 10, 13] (Tabel 3). Impact factor baseret på citationer af randomiserede forsøg og systematiske oversigter offentliggjort i BMJ's julenummer var nul i 1999 og en i 2007 med et gennemsnit på 3,1 for hele perioden 1999-2007 - og dermed lavere end BMJ's officielle journal impact factor (Tabel 3).

De tre oftest citerede artikler

Harlow et al's randomiserende forsøg med magnetiske armbånd hos patienter med slidgigt blev citeret 17 gange uden nogen eksempler på fejlfortolkninger af forsøgets seriøse intentioner [7]. Desuden er forsøget inkluderet i to systematiske oversigter [14, 15] og blev brugt som eksempel i CONSORT's retningslinjer for nonfarmakologiske forsøg [16].

Smith og Pells systematiske oversigt over effekten af faldskærme blev citeret 131 gange og hyppigt debatteret [13]. Selv om kun 24 af de citerende artikler eksplicit beskriver oversigt ens humoristiske intention, synes de fleste af forfatterne til artiklerne at være klar over, at oversigten er en ironisk kommentar til evidensbaseret medicin. Oversigten resulterede i en medicinsk terminologisk nyskabelse: The parachute hyperbole: betegnelsen for en intervention, hvis virkning er så indlysende, at et randomiseret forsøg er unødvendig. I alt 38 af de citerende artikler gav således eksempler på interventioner, der ansås at kvalificere sig til denne betegnelse [f.eks. 17, 18]. Andre argumenterede for, at faldskærmseksemplet ikke afspejler den typiske kliniske situation, fordi der ingen reel usikkerhed er om faldskærmes effekt, mens der som oftest hersker betragtelig usikkerhed om effekten af eksperimentelle behandlinger [19].

Leibovici undersøgte effekten på blodinfektioner af fjernbøn [10], dvs. bøn uden patientens vidende. Undersøgelsen var baseret på en tilfældig fordeling af journaler fra en database. Journalerne omhandlede patienter, som enten var udskrevet 4-10 år tidligere eller var døde. Undersøgelsen byggede således på antagelsen om, at bøn kan virke bagud i tid, »retroaktivt". Den var ment som en ironisk kommentar til de problemer, der knytter sig til fortolkning af resultater fra forsøg med interventioner, der har en usandsynlig virkningsmekanisme. Artiklen blev citeret 36 gange. Syv af de citerende artikler påpegede klart undersøgelsens ironisk-absurde karakter, mens resultatet blev taget for pålydende i 12 af de citerende artikler (Tabel 4 ). Leibovicis artikel blev f.eks. citeret i et randomiseret forsøg af effekten af bøn på sårheling hos Bush Babies (Otolemur garnettii): »Several studies have reliably shown IP [intercessory prayer] to have positive health effects across a variety of disorders, including ... blood stream infection ...« [20]. Leibovici følte sig nødsaget til at præcisere, at han anså sin undersøgelse for et »nonstudy« [21] (Tabel 2).

Systematiske oversigter

Data fra Leibovicis artikel [10] var inkluderet i tre systematiske oversigter over effekten af fjernbøn [22-24], (Tabel 4). Hodge beskrev Leibovicis antagelse om retroaktiv kausalitet, men ikke dens ironiske intentioner, og inkluderede mortalitetsdata i sin metaanalyse [22]. Det er uklart, hvordan dette påvirkede det samlede resultat.

Roberts et al beskrev også Leibovicis antagelse om retroaktiv kausalitet [23, 25]. Overraskende hævdede de, at: »The Leibovic[i] 2001 [paper] was not in jest. It is a rather serious paper ...« [23]. Dette er ikke i overenssemmelse med Leibovicis egne udmeldinger [21], (Tabel 2). Leibovicis undersøgelse indgik med 21% af vægten i en random effect -metaanalyse, der ikke fandt nogen statistisk signifikant effekt af fjernbøn på mortalitet. I en tidligere version undlod Roberts et al at nævne Leibovicis antagelse om retroaktiv kausalitet, og undersøgelsen indgik med 75% af vægten i en fixed effect -metaanalyse, i hvilken man fandt en statistisk signifikant effekt af fjernbøn på mortalitet. Eksklusion af studiet fra hver af disse metaanalyser ændrede ikke resultaterne væsentligt.

Coruh et al beskrev Leibovicis antagelse om retroaktiv kausalitet, men ikke artiklens ironiske intentioner. Oversigten indeholdt ikke en formel metaanalyse, men forfatterne opsummerede, at fjernbøn »may ... decrease length of hospital stay and duration of fever in septic patients, ...«.

Endvidere blev Leibovicis artikel citeret i tre andre oversigter, uden at der dog var tale om klare tilfælde af SILLY-bias [26-28]. Masters et al ekskluderede artiklen netop på grund af antagelsen om retroaktiv kausalitet [27]. Ernst et al inkluderede Leibovicis arbejde, men karakteriserede også studiet som: »... an attempt to demonstrate that studies can yield nonsensical findings even when randomised and seemingly rigorous« [28].

Diskussion

Artikler i BMJ's julenummer opfattes ofte korrekt som humoristiske. Imidlertid kan den humoristiske dimension overraskende let overses, og vi fandt, at et ironisk-absurd randomiseret forsøg blev opfattet som seriøst i en ud af tre citerende artikler, og at mortalitetsdata fra forsøget blev inkluderet i tre systematiske oversigter.

Vi har ikke identificeret andre lignende systematiske analyser af julenummerartikler, men vore fund stemmer overens med publicerede anekdoter. En julenummerartikel fra Medical Journal of Australia om lægers påklædning blev i BMJ omtalt som seriøst, og forfatterne følte sig nødsaget til at erklære deres studie for fiktivt [29-31]. I en anden artikel beskrev en pensioneret professor sine observationer, når han kørte på sin enhjulede cykel, og overvejede om de mange »sjove« bemærkninger han fik fra mænd muligvis afspejlede androgeninduceret aggression [32]. BBC skrev på den baggrund, at »Humour comes from testosterone« [33]. I en tredje artikel konkluderede man ironisk, at golfspillere bør udvise forsigtighed ved brug af en ny type støjende golfkøller [34]. The Daily Telegraph bragte efterfølgende en historie om, at læger advarer golfspillere om risikoen for at blive døv, når golfkøllen rammer bolden [35].

Antallet af citationer af en artikel synes at være tættere associeret til et tidsskrifts journal impact factor end til traditionelle markører for metodologisk kvalitet [36, 37], selv om systematiske oversigter og randomiserede forsøg tenderer til at blive citeret oftere end andre typer studier [38]. Ideelt benyttes citationer på en upartisk måde. Imidlertid påpeges det i et studie af citationsmønstre i forskning i Alzheimers sygdom, at citationer også bliver brugt som kraftfulde retoriske redskaber [39]. For eksempel bliver hypoteser citeret som fakta (citation transmutation), og artikler citeres, selv om de er uden relevant indhold (dead end citations). SILLY-bias kan ses som en variant af en sådan citationspraksis.

En af artiklerne, vi her har analyseret, brugte akronymet CRACKPOT [6]. Vi har også anvendt et akronym »SILLY", først og fremmest som en mnemoteknisk hjælp til læger, der interesserer sig for fejlkilder i lægevidenskabelig forskning. Antallet af akronymer i medicinsk forskning er sandsynligvis sammenligneligt med antallet af forskellige typer bias, så vi undersøgte, om forkortelsen var anvendt før. Det var ikke tilfældet, i modsætning til akronymer som HOPE, SMILE, MAGIC, PARADISE, eller bare GREAT [40].

Oversigten over effekten af faldskærme viser, at humor kan være et effektivt værktøj i akademisk kommunikation, når det parres med en implicit seriøs pointe [1]. Vores analyse viser imidlertid, at der er betragtelig risiko for, at læsere af julenummerartikler overser humoren. Denne risiko er formentlig større, når en humoristisk artikel følger standardartiklens formelle struktur, når kun abstraktet læses, eller når artiklen downloades individuelt og ikke læses i sammenhæng med andre julenummerartikler.

Baseret på vores resultater og på andre eksem pler på misforståede julenummerartikler kan SILLY bias opfattes som et alvorligt problem. Det kan vildlede lægfolk og dermed undergrave seriøse folkesundhedskampagner samt forvirre den kliniske og videnskabelige læser, især når ironisk-absurde forsøg indgår i metaanalyser. Heldigvis indførte BMJ en mærkningsordning i 2008: Christmas 2008. Dog noterer vi, at også studier mærket som juleartikler er blevet opfattet som seriøse [34]. Vi foreslår, at tidsskrifter, som udgiver humoristiske juleartikler, overvejer en mere effektiv mærkning, f.eks. et bredt rødt bånd tværs over forsiden på artiklen, som påpeger: »Advarsel: også for sjov«. En særlig dansk version, som måske er relevant for Ugeskriftet, kunne være Piet Heins gruk: »Den som kun tar spøg for spøg og alvor kun alvorligt; han og hun har faktisk fattet begge dele dårligt«.

Konklusion

Artikler i BMJ's julenummer opfattes ofte korrekt som humoristiske. Imidlertid kan den humoristiske dimension overraskende let overses. Vi har således dokumenteret eksempler på en ny fejlkilde i medicinsk forskning: SILLY-bias, både i citationspraksis og i metaanalyser.

Asbjørn Hróbjartsson, Det Nordiske Cochrane Center, Rigshospitalet, DK-2100 København Ø. E-mail: ah@cochrane.dk

Interessekonflikter: Ingen

1. A pile of strangeness. BMJ 2000;321:A.
2. Schultz WW, van Andel P, Sabelis I. Magnetic resonance imaging of male and female genitals during coitus and female sexual arousal. BMJ 1999;319:1596-600.
3. Witcombe B, Meyer D. Sword swallowing and its side effects. BMJ 2006;333:1285-7.
4. Loefler I. Shall I compare thee to a... BMJ 1998;317:1733.
5. Barone JE. Comparing apples and oranges: a randomised prospective study. BMJ 2000;321:1569-70.
6. Britton BJ, Evans JG, Potter JM. Does the fly matter? The CRACKPOT study in evidence based trout fishing. The Collaborative Randomised and Controlled Kennet Piscatorial Options Trail (CRACKPOT) Investigators. BMJ 1998;317:1678-80.
7. Harlow T, Greaves C, White A et al. Randomised controlled trial of magnetic bracelets for relieving pain in osteoarthritis of the hip and knee. BMJ 2004;329:1450-4.
8. Kaczorowski M, Kaczorowski J. Ice cream evoked headaches (ICE-H) study: randomised trial of accelerated versus cautious ice cream eating regimen. BMJ 2002;325:1445-6.
9. Langford NJ, Marshall T, Ferner RE. The lacing defence: double blind study of thresholds for detecting addition of ethanol to drinks. BMJ 1999;319:1610.
10. Leibovici L. Effects of remote, retroactive intercessory prayer on outcomes in patients with bloodstream infection: randomised controlled trial. BMJ 2001;323:1450-1.
11. Pager CK. Streptokinase versus alteplase and other treatments for acute and delayed thrombolysis of blood stains in clothing. BMJ 2000;321:1554-6.
12. Pittler MH, Verster JC, Ernst E. Interventions for preventing or treating alcohol hangover: systematic review of randomised controlled trials. BMJ 2005;331:1515-8.
13. Smith GC, Pell JP. Parachute use to prevent death and major trauma related to gravitational challenge: systematic review of randomised controlled trials. BMJ 2003;327:1459-61.
14. Bjordal JM, Johnson MI, Lopes-Martins RA, Bogen B, Chow R, Ljunggren AE. Short-term efficacy of physical interventions in osteoarthritic knee pain. A systematic review and meta-analysis of randomised placebo-controlled trials. BMC Musculoskelet Disord 2007;8:51.
15. Pittler MH, Brown EM, Ernst E. Static magnets for reducing pain: systematic review and meta-analysis of randomized trials. CMAJ 2007;177:736-42.
16. Boutron I, Moher D, Altman DG et al. Extending the CONSORT statement to randomized trials of nonpharmacologic treatment: Explanation and elaboration. Ann Int Med 2008;148:295-309.
17. Aledort L, Ljung R, Blanchette V et al. Are randomized clinical trials the only truth? Not always. J Thromb Haemos 2006;4:503-4.
18. Demede D, Cheikhelard A, Hoch M et al. Evidence-based medicine and vesicoureteral reflux. Annales D Urologie 2006;40:161-74.
19. Iorio A, Moja L, Liberati A et al. Selecting references that match constructs: the difficult job of citing the parachute hyperbole. Int Emerg Med 2008;3:151-4.
20. Lesniak KT. The effect of intercessory prayer on wound healing in nonhuman primates. Altern Ther Health Med 2006;12:42-8.
21. Leibovici L. Effect of retroactive intercessory prayer - Reply. BMJ 2002;324:1038-9.
22. Hodge DR. A systematic review of the empirical literature on intercessory prayer. Research on Social Work Practice 2007;17:174-87.
23. Roberts L, Ahmed I, Hall S et al. Intercessory prayer for the alleviation of ill health. Cochrane Datab Syst Rev 2009;(2):CD000368.
24. Coruh B, Ayele H, Pugh M et al. Does religious activity improve health outcomes? A critical review of the recent literature. Explore (NY) 2005;1:186-91.
25. Jørgensen KJ, Hróbjartsson A, Gøtzsche PG. Divine intervention? A Cochrane review on intercessory prayer gone beyond science and reason. J Negat Results Biomed 2009;10;8:7.
26. Crawford CC, Sparber AG, Jonas WB. A systematic review of the quality of research on hands-on and distance healing: clinical and laboratory studies. Altern Ther Health Med 2003;9(3 Suppl):A96-104.
27. Masters KS, Spielmans GI, Goodson JT. Are there demonstrable effects of distant intercessory prayer? A meta-analytic review. Ann Behav Med 2006;32:21-6.
28. Ernst E. Distant healing - an »update« of a systematic review. Wien Klin Wochenschr 2003;115:241-5.
29. Nair BR, Attia JR, Mears SR et al. Evidence-based physicians' dressing: a crossover trial. Med J Aust 2002;177:681-2.
30. Attia J, Nair K. On abandoning ties and avoiding nose rings: medical humour has implications for evidence based medicine. BMJ 2003;327:345.
31. Dobson R. Doctors should abandon ties and avoid nose rings. BMJ 2003;326:1231.
32. Shuster S. Sex, aggression, and humour: responses to unicycling. BMJ 2007;335:1320-2.
33. BBC News. Humour 'comes from testosterone' 12. december 2007; http://news.bbc.co.uk/2/hi/health/7153584.stm. (30. juli 2009).
34. Buchanan MA, Wilkinson JM, Fitzgerald JE et al. Is golf bad for your hearing? BMJ 2008;337:a2835.
35. Johnson S. The Daily Telegraph. Golfers' hearing at risk from 'sonic boom' created by new clubs, doctors claim. 4. januar 2009. http://www.telegraph.co.uk/sport/golf/4108699/Golfers-hearing-at-risk-f… (2. august 2009).
36. Callaham M, Wears RL, Weber E. Journal prestige, publication bi