Skip to main content

Dækningsgraden i Science Citation Index af dansk sundhedsvidenskabelig forskning i 1998

Forskningsprofessor Peter Ingwersen & professor Elsebeth Lynge Danmarks Biblioteksskole, Institut for Informationsstudier, København, og Statens Sundhedsvidenskabelige Forskningsråd, København

1. nov. 2005
15 min.

Formål: Formålet med undersøgelsen var at belyse dækningsgraden af dansk sundhedsvidenskabelig forskning i Science Citation Index (SCI) på tidsskrifts- og artikelniveau. Desuden fremlægges der et skøn over dækningsgraden ved landeanalyse i de medicinske databaser MEDLINE og EMBASE og et billede af det nationale og internationale forskningssamarbejde i 1998.

Materiale og metoder: Årsberetningernes litteraturlister i elektronisk form for 1998 fra de sundhedsvidenskabelige fakulteter ved Syddansk Universitet, Aarhus Universitet, Københavns Universitet og H:S er analyseret ved anvendelse af algoritmiske værktøjer for unikke tidsskrifter og artikler og sammenholdt med tidsskriftsbestanden i SCI 1998 for de sundhedsvidenskabelige discipliner. Fra disse tidsskrifter er der også udtrukket alle artikler med mindst én dansk forfatteradresse. Dette er brugt til vurdering af dækningsgraden ved søgning på land i MEDLINE og EMBASE.

Resultater: SCI-dækningsgraden på artikelniveau er på godt 90% for den internationalt publicerede forskning faldende til 72% for alle forskningsartikler fra de undersøgte institutioner. På tidsskriftsniveau er andelen i SCI på godt 75%. Ugeskrift for Læger dækker en betydelig del af de resterende artikler. Dækningsgraden ved søgning på land i MEDLINE og EMBASE blev vurderet til at være ca. 78%.

Diskussion: SCI kan anvendes til citations- og publikationsanalyser af dansk sundhedsvidenskabelig forskning publiceret i internationale tidsskrifter. Ved at inddrage MEDLINE og EMBASE fås et bedre indblik i de forskellige discipliners publikationsadfærd på grund af kvaliteten af basernes emneindeksering.

Scientometri omfatter måling af videnskabens produkter og adfærd, f.eks. publikationer, patenter og citationer pr. indbygger eller analyser af samarbejdsformer. Feltet hører under informetri, hvor der anvendes kvantitative metoder til at afdække informationsprocesser, f.eks. journalisters, forskeres eller andres vidensproduktion og kilder. Traditionelt benævnes metoderne bibliometriske, selv om der både analyseres publikationer og elektroniske links til og fra web-sider o.l. Scientometriske undersøgelser kræver som anden forskning stringens og kvalitetskontrol. Netop dette forhold blev taget op af Statens Sundhedsvidenskabelige Forskningsråd (SSVF) i Bibliometrigruppen, hvis arbejde resulterede i retningslinjer for udførelsen af citationsanalyser o.l. [1, 2].

Sundhedsvidenskab udgør langt det største forskningsområde i Danmark, målt på publikationer [3]. Ifølge alle nyere undersøgelser [4, 5] foregår forskningen på et højt internationalt niveau. Imidlertid tyder flere indikatorer på, at produktiviteten er stagnerende både inden for visse felter og generelt [6-9]. Derimod synes den aktuelle gennemslagskraft, målt på citationer pr. publikation, fortsat at være høj sammenlignet med andre lande [10]. Fælles for de fleste af disse scientometriske undersøgelser er hyppig anvendelse af Science Citation Index (SCI) og National Science Indicators (NSI), i nogle tilfælde også MEDLINE [9] og EMBASE. Disse databaser har hver sine fordele og ulemper. For eksempel medtager SCI adressen for alle forfattere, mens MEDLINE kun medtager førsteforfatterens adresse. MEDLINE har Ugeskrift for Læger med, mens dette ikke er tilfældet i SCI, og dermed heller ikke i NSI, osv.

Den almindelige antagelse er, at publiceringsaktiviteten afspejler forskningsaktiviteten, og at citationer afspejler kvalitet. En yderligere antagelse er, at disse baser viser et dækkende billede af forskningen på nationalt, institutionelt og/eller domæneniveau. Disse antagelsers rigtighed diskuteres ofte kritisk [11-12]. Det er også klart, at der er en kvantitativ uoverensstemmelse mellem de p.t. ca. 30.000 sundhedsvidenskabelige tidsskrifter [13] og de 2.438 tidsskrifter, SCI optager og indekserer inden for sundhedsvidenskabelige emner. SCI's tidsskrifthold benævnes ofte som »de videnskabelige discipliners kernetidsskrifter« [9]. Spørgsmålet er imidlertid, om danske sundhedsvidenskabelige forskere overvejende publicerer i disse kernetidsskrifter. Statens Sundhedsvidenskabelige Forskningsråd har derfor iværksat denne undersøgelse af dækningsgraden af dansk sundhedsvidenskabelig forskning i citationsbaserne [14].

Materiale og metode

Dækningsgraden er undersøgt for publikationer fra 1998, da analysen blev påbegyndt i 2001, og der er en vis forsinkelse i databasernes registrering. Undersøgelsen omfattede fire opgørelser:

  1. Dækningsgraden i SCI af de tidsskrifter danske sundhedsvidenskabelige forskere ifølge egne indberetninger publicerede i i 1998.

  2. Dækningsgraden i SCI af de artikler, danske sundhedsvidenskabelige forskere ifølge egne indberetninger publicerede i 1998.

  3. Dækningsgraden i MEDLINE af artikler fra 1998 identificeret fra SCI med mindst én dansk forfatteradresse.

  4. Samarbejde mellem danske forskere indbyrdes og mellem danske og udenlandske forskere.

De to første opgørelser tog udgangspunkt i publikationslisterne fra årsberetningerne fra 1998 fra de tre sundhedsvidenskabelige fakulteter. Listerne er indhentet i elektronisk form fra Syddansk Universitet (SDU), Aarhus Universitet (AU), Københavns Universitet (KU) og H:S. Årsberetningen fra Københavns Amts sygehuse for 1998 kunne desværre ikke fremskaffes i en tilfredsstillende læsbar elektronisk form. Forskningen fra øvrige institutioner, såsom Statens Serum Institut, indgår ikke i undersøgelsen. Analyserne omfatter såvel lægevidenskabelige (biomedicin og klinisk medicin), folkesundhedsvidenskabelige som odontologiske artikler. Inden redigering for dubletter indeholdt årsberetningerne 5.062 publikationer, hvoraf 4.386 (87%) var artikler, og 676 (13%) var andre publikationer. Analysen omfattede alene artiklerne. Artiklernes dækningsgrad i SCI blev undersøgt først på tidsskriftniveau og derefter på artikelniveau.

For tidsskriftniveau blev der først lavet en liste fra hver af de tre fakulteter og H:S over benyttede tidsskrifte r. Derefter blev disse lister lagt sammen og redigeret for dubletter og forskellige stavemåder af tidsskriftnavnene [15] (Figur 1 ). Herefter havde man en liste over 1.022 tidsskrifter, der var blevet anvendt mindst én gang af de tre fakulteter og H:S i 1998. Fra SCI blev de sundhedsvidenskabelige tidsskrifter udtrukket [16]. Disse blev defineret ud fra de 53 Journal Subject Categories, der af SSVF blev anset for at dække sundhedsvidenskab (Figur 2 ). Dette udtræk omfattede 2.438 tidsskrifter. De 1.022 dansk anvendte tidsskrifter blev herefter matchet med de 2.438 udtrukne SCI-tidsskrifter. Dette gav et match på 775 tidsskrifter, mens 247 af de danske anvendte tidsskrifter ikke forekom i SCI-udtrækket.

På artikelniveau blev de danske artikler renset for dubletter, og artiklerne blev fordelt på, om de var publiceret i de 775 tidsskriftsnavne, der var med i SCI's sundhedsvidenskabelige tidsskrifter, eller om de var publiceret andetsteds.

Dækningsgraden i MEDLINE blev kun indirekte målt. Først blev der foretaget et udtræk fra SCI for 1998 af samtlige artikler med mindst én dansk forfatteradresse i SCI's sundhedsvidenskabelige tidsskrifter. Ligesom ovenfor blev disse defineret ud fra de 53 Journal Subject Categories, der blev anset for at dække sundhedsvidenskab. Dette udtræk omfattede 3.491 artikler. Kun for 69% af disse artikler var det imidlertid muligt at fastslå førsteforfatterens hjemsted. Disse artikler blev delt i dem med udenlandsk førsteforfatter og dem med dansk førsteforfatter. Dækningsgraden i MEDLINE blev defineret som procentdelen af artikler med dansk førsteforfatterskab blandt alle de ovenfor definerede SCI-artikler med kendt førsteforfatterskab.

Opgørelsen af samarbejde blev baseret på dubletter, fundet dels i de danske artikler publiceret i de 775 SCI-tidsskrifter, dels i det SCI-udtræk, der blev brugt til at undersøge dækningsgraden i MEDLINE.

Resultater

Af de 1.022 tidsskrifter, som ifølge egne angivelser var anvendt i 1998 af de ansatte på de tre sundhedsvidenskabelige fakulteter og i H:S, var 775 med i SCI's sundhedsvidenskabelige tidsskrifter. Det vil sige, at der var en dækningsgrad på 75%. Danske forskere publicerede artikler i 247 tidsskrifter, som ikke var med i SCI's sundhedsvidenskabelige tidsskrifter.

Efter redigeringen for dubletter indeholdt årsberetningerne 3.193 artikler. Af disse var 2.302 med i SCI's sundhedsvidenskabelige tidsskrifter, det vil sige, der var en samlet dækningsgrad på 72%. Af de 891 af artiklerne, som ikke var med i SCI's sundhedsvidenskabelige tidsskrifter, var 498 (56%) publiceret i enten Ugeskrift for Læger (425), Tandlægebladet (39) eller Månedsskrift for Praktisk Lægegerning (34). Af det samlede antal artikler var 16% publiceret i disse tre tidsskrifter. SCI-dækningsgraden blev 72% for alle artikler og 89% for alle internationalt publicerede artikler (Figur 3 ).

Dækningsgraden i MEDLINE og EMBASE blev målt indirekte. SCI-udtrækket af sundhedsvidenskabelige artikler med mindst én dansk forfatteradresse omfattede 3.491 artikler. Kun for 2.404 (69%) af disse var det imidlertid muligt at fastslå førsteforfatterens hjemsted entydigt. Ud af disse 2.404 artikler havde 1.875 (78%) dansk førsteforfatterskab (Tabel 1 ). Disse 78% blev defineret som dækningsgraden i MEDLINE og EMBASE. Det fremgår endvidere, at 40% af de 2.404 artikler var skrevet i internationalt samarbejde.

Institutionerne indberettede i alt 3.541 artikler, dvs. 348 mere end det samlede antal artikler på 3.193. Denne forskel skyldes 325 artikler, der var udarbejdet i samarbejde mellem to eller tre af de danske enheder. Tabel 2 viser de hyppigste samarbejdslande i de 3.491 artikler fra Tabel 1.

Diskussion
Fejlkilder og repræsentativitet

Der var 2.302 artikler fra årsberetningerne fra universiteterne og H:S-listen, som var med i SCI's sundhedsvidenskabelige tidsskrifter. Fra disse tidsskrifter blev der fra 1998 i alt fundet 3.491 artikler med mindst én dansk forfatteradresse. Rundt regnet kan man altså derfor regne med, at undersøgelsen her bygger på 66% af SCI-artiklerne med dansk ophav i 1998. De resterende ca. 1.200 artikler fordeler sig på Københavns Amts sygehuse, andre danske forskningscentre, og den private sektor. Alene amtssygehusene i Gentofte og Herlev, Risø Forskningscenter, Novo Nordisk og Lundbeck står for 508 af disse artikler. Året 1998 er dækket af en tidligere undersøgelse, som viser, at dette år var som så mange andre: lille tilbagegang i forhold til 1997 [9]. I en beretning fra H:S fra 2001 er antallet af publikationer for 1998 opgjort til 1.398 [17]. Det stemmer temmelig godt overens med de 1.247 artikler fra H:S i indeværende undersøgelse. I en tidligere undersøgelse fra Syddansk Universitet har årsberetningerne vist sig at være næsten dækkende for publiceringen [18].

En mulig fejlkilde var forkortelser på tidsskriftnavne, årgang og sidetal. Eksempler på forskellige anvendte navne for samme tidsskrift er vist i Figur 1 for Acta Paediatrica og Journal of Clinical Endocrinology and Metabolism. Forskellig angivelse af initialer i forfatternavne og forskellige titler for samme artikel forekom også. For et mindre antal artiklers vedkommende var der forskel på forfatternes rækkefølge. Der blev i analysen taget højde for de manglende oplysninger ved identifikationen af dubletter, og alle anomalier blev rettet op på en semiautomatisk, men tidskrævende måde.

Dækningsgrader for Science Citation Index

Undersøgelsen anvendte tre mål for de danske artiklers dækning i SCI: 1) på tidsskriftsniveau, 2) på artikelniveau og 3) på internationalt artikelniveau. Disse tal var henholdsvis 75%, 72% og 89%. Når dækningsgraden på artikelniveau kun bliver på 72%, skyldes det den udbredte brug af danske tidsskrifter. Nogle har antaget, at danske sundhedsforskere i høj grad publicerer i internationale specialtidsskrifter, som ikke optages i SCI. Dette skulle føre til den observerede danske stagnation i forskningspublikationer, når tællinger foretages i SCI. Den fundne dækningsgrad på 89% af internationale artikler viser, at antagelsen er forkert. SCI kan derfor med rimelighed anvendes til såvel publikations- som citationsanalyser for dansk sundhedsvidenskabs internationale bidrag.

Dækningsgraden i de centrale medicinske databaser

Ud af 3.491 artikler med mindst én dansk forfatter identificeret i SCI's sundhedsvidenskabelige tidsskrifter kunne førsteforfatterens nationalitet fastslås for de 2.405. Af disse artikler havde 78% dansk førsteforfatteradresse. På operationelt internationalt niveau estimeredes dækningsgraden i de centrale medicinske databaser MEDLINE og EMBASE derfor til at være ca. 78%. Dette er andelen af danske artikler, som man måtte formode at finde i MEDLINE eller EMBASE, hvis man søgte på Danmark i forfatteradressen. Ved analyser via disse baser må man antage, at tabsandelen er den samme for de (mindre) lande, vi normalt sammenligner os med. Man skal være opmærksom på, at selv om Ugeskrift for Læger findes i MEDLINE og i den eksisterende basekonfiguration MEDLINE/EMBASE, har tidsskriftet ingen sikker landeangivelse for forfatterne [9, 14], ud over evt. et postnummer indledt med »DK«. En mulig årsag til, at dette centrale danske tidsskrift ikke findes i SCI, kan netop være de manglende landeangivelser. Søges de danske tidsskrifter direkte i den nævnte basekonfiguration, kan dækningsgraden måske forøges til 85%. Man skal være opmærksom på, at ved søgning på navngivne danske forfattere kan dækningsgraden øges betydeligt. Fordelen ved at anvende MEDLINE og EMBASE som et supplement til årsberetninger o.l. er, at emnekategoriseringen er sundhedsvidenskabeligt funderet og udført professionelt på artikelniveau. I SCI er klassifikationen af artikler bestemt af det publicerende tidsskrifts kategorisering, udført af producenten ISI. Et SCI-tidsskrift kan tilhøre op til tre emnekategorier, hvortil dets artikler derfor også bindes. Inden for enkelte medicinske specialer er det derfor kun muligt at bruge citationsbaserne med forbehold.

Internationalt samarbejde

Af de 3.491 artikler i SCI's sundhedsvidenskabelige tidsskrifter kunne førsteforfatteren fastslås for 2.405; af disse var 40% produceret i internationalt samarbejde, og knap 20% havde dansk førsteforfatteradresse. De resterende godt 20% havde en udlænding som førsteforfatter og ville ikke blive identificeret, hvis man søgte på Danmark i MEDLINE og EMBASE. De findes i SCI og er uhyre interessante fra scientometriske synspunkter, da det er den udenlandske videnskabelige autoritet, som fører an i samforfatterskabet. Artiklerne repræsenterer sandsynligvis eksempler på videnimport fra udlandet, mens internationale bidrag med danske førsteforfatteradresser kan betragtes som eksempler på dansk videneksport.

Samarbejde giver normalt en forøget mængde citationer til alle parter - og internationalt samarbejde endog et yderligere afkast på grund af den bredere synliggørelse [19]. Det danske samarbejde med udlandet, som blev fundet i undersøgelsen her, svarer til, hvad man har fremdraget i andre undersøgelser [20].

Konklusion og rekommandationer

Det mest troværdige billede af publikationsaktiviteten i den offentligt finansierede sundhedsvidenskabelige forskning fås gennem forskernes egen indberetning i årsberetninger m.m.

Undersøgelsen her bekræfter, at SCI kan anvendes som et validt instrument ved analysen af internationalt publicerede sundhedsvidenskabelige tidsskriftartikler fra Danmark, da det forekommer rimeligt at antage, at undersøgelsens resultater kan overføres til øvrig dansk sundhedsvidenskab. National Science Indicators (NSI), som indeholder SCI-data i en struktureret form sammen med Social Science Citation Index-data, kan derfor anvendes til citations-, publikations- og gennemslagskraftsanalyser af dansk sundhedsvidenskabelig forskning publiceret internationalt. NSI er desuden nem at arbejde med ved komparative analyser af lande.

Det er betryggende, at andelen af artikler, der ikke er registreret i SCI, hovedsageligt kommer fra danske tidsskrifter. En mindre del kommer fra internationale specialtidsskrifter, men med uhyre få danske bidrag i hvert tidsskrift. Både disse internationale specialtidsskrifter og Ugeskrift for Læger findes i MEDLINE og EMBASE, hvor dog Ugeskrift for Læger skal søges separat. MEDLINE og EMBASE mangler medforfatteres adresser og kan derfor ikke bruges til at identificere al dansk forskning med, hvis man søger på land. Men ved også at inddrage supplerende udtræk fra disse brede medicinske baser opnås der en bedre dækning. Samtidig fås en bedre indsigt i de forskellige discipliners og specialers publikationsadfærd, fordi disse baser har en bedre emneindeksering. Databaserne supplerer derfor hinanden og standardiserede årsberetninger.


Peter Ingwersen, Danmarks Biblioteksskole, Institut for Informationsstudier, Birketinget 6, DK-2300 København S. E-mail: pi@db.dk

Antaget: 27. april 2004

Interessekonflikter: Ingen angivet

Taksigelse. Forfatterne takker Statens Sundhedsvidenskabelige Forskningsråd for økonomisk støtte til undersøgelsen samt Dialog Information Service, Danmark, for støtte til online-søgninger.

  1. Ingwersen P, Larsen B, Djurhuus JC et al. Rapport fra Arbejdsgruppen vedrørende videnskabelig publicerings- og citationsanalyse (Bibliometrigruppen), November 2000. København: Statens Sundhedsvidenskabelige Forskningsråd, 2000. http://www.fsk.dk /dec. 2003 eller http://www.db.dk/pi /dec. 2003.
  2. Forskningsministeriet & Sundhedsministeriet. Hovedkonklusioner. I: Medicinsk Sundhedsforsknings Fremtid. MESUF Rapporten. Opfølgning på anbefalinger til fremme af vilkårerne for medicinsk sundhedsforskning. Sundhedsanalyser 2001;3:91-4. http://www.fsk.dk /dec 2003.
  3. Ingwersen P. The international visibility of Danish and Scandinavian research 1988-96: a general overview of science & technology and the social sciences by online publication analysis. København: Center for Informetriske Studier, Danmarks Biblioteksskole, 1998.
  4. Gøtzsche PC, Krog JW, Moustgaard R. Bibliometrisk analyse af dansk sundhedsvidenskabelig forskning 1988-1992.Ugeskr Læger 1995;157:5075-81.
  5. D'ARC. Analyse af den offentlige forskningsproduktion i Danmark de seneste 10 år - sammenlignet med udvalgte andre lande. København: DTU Analysis & Research Promotion Center, 1999.
  6. Hansen, HB, Brinch K, Henriksen JH. Scientific publications from departments of clinical physiology and nuclear medicine in Denmark. Clin Physiol 1996;16:507-19.
  7. Ingwersen P. Visibility and impact of research in psychiatry for North European countries in EU

Summary

Summary Degree of coverage of Danish health sciences research in the Science Citation Index, 1998 Ugeskr Læger 2004;166:3493-3497 Introduction: Our objective was to investigate the coverage of Danish health sciences research in the Science Citation Index (SCI) on both the journal and article levels. In addition, we estimated the coverage of country-based analyses for the domain-specific databases MEDLINE and EMBASE. Further, international collaboration in the health sciences during 1998 was analysed. Materials and methods: The annual research reports in electronic form from the university faculties of the health sciences of the University of South Denmark, Aarhus University, Copenhagen University, and the H:S region covering 1998 were analysed by means of a variety of algorithms in order to isolate unique journals and journal articles. The resulting list of journals was compared to the list of health scientific journals indexed by SCI for 1998. From the same SCI list, all the articles having at least one Danish author were extracted. These articles were then used to assess the coverage by MEDLINE and EMBASE. The study of international collaboration with Danish authors utilized the same material. Results: The SCI coverage was approximately 90% for internationally published Danish health sciences research. That figure dropped to 72% for all research articles published by the institutions under study. The SCI coverage was approximately 75% at the journal level. Ugeskrift for Læger published a substantial portion of the remaining articles. The coverage in MEDLINE and EMBASE using national affiliations was estimated to be 78%. Discussion: The SCI is well suited as a tool for citation and publication analyses of Danish health research published in international journals. Due to the scientific quality of the subject indexing in MEDLINE and EMBASE, these databases offer a more satisfying picture of the publication behaviour in the various disciplines than does the SCI.

Referencer

  1. Ingwersen P, Larsen B, Djurhuus JC et al. Rapport fra Arbejdsgruppen vedrørende videnskabelig publicerings- og citationsanalyse (Bibliometrigruppen), November 2000. København: Statens Sundhedsvidenskabelige Forskningsråd, 2000. http://www.fsk.dk /dec. 2003 eller http://www.db.dk/pi /dec. 2003.
  2. Forskningsministeriet & Sundhedsministeriet. Hovedkonklusioner. I: Medicinsk Sundhedsforsknings Fremtid. MESUF Rapporten. Opfølgning på anbefalinger til fremme af vilkårerne for medicinsk sundhedsforskning. Sundhedsanalyser 2001;3:91-4. http://www.fsk.dk /dec 2003.
  3. Ingwersen P. The international visibility of Danish and Scandinavian research 1988-96: a general overview of science & technology and the social sciences by online publication analysis. København: Center for Informetriske Studier, Danmarks Biblioteksskole, 1998.
  4. Gøtzsche PC, Krog JW, Moustgaard R. Bibliometrisk analyse af dansk sundhedsvidenskabelig forskning 1988-1992.Ugeskr Læger 1995;157:5075-81.
  5. D'ARC. Analyse af den offentlige forskningsproduktion i Danmark de seneste 10 år - sammenlignet med udvalgte andre lande. København: DTU Analysis & Research Promotion Center, 1999.
  6. Hansen, HB, Brinch K, Henriksen JH. Scientific publications from departments of clinical physiology and nuclear medicine in Denmark. Clin Physiol 1996;16:507-19.
  7. Ingwersen P. Visibility and impact of research in psychiatry for North European countries in EU, US and world contexts. Scientometrics 2002;54:131-44.
  8. Skram U, Larsen B, Ingwersen P et al. Nordic research in anaesthesiology 1981-2000. Acta Anaesthesiologica Scandinavica (i trykken).
  9. Jørgensen H, Prætorius L, Ingwersen P. Udviklingen i medicinske artikler 1989-1998. Ugeskr Læger 1999;161:6339-43.
  10. May RM. The scientific wealth of nations. Science 1997;275:793-6.
  11. Rehfeld JF. Kvantifering af kvalitet. Ugeskr Læger 1995;157:6111-4.
  12. Seglen PO. Causal relationship between article citedness and journal impact. J Am Soc Inform Sci 1994;45:1-11.
  13. Lock S. Introduction. I: Lock S, ed. The future of medical journals. London: British Medical Journal, 1991:1-8.
  14. Djurhus JC. Forskningsbarometer. Hvorledes monitoreres forskningsaktivitet og hvordan sammenlignes den? Ugeskr Læger 2003;165:322-6.
  15. Persson O. Bibexcel-programmet. Umeå: Umeå Universitet, Inforsk., 2003 http://www.umu.se/inforsk /dec. 2003.
  16. Institute for Scientific Information. http://www.isinet.com /dec. 2003.
  17. Hovedstadens Sygehusfællesskab. Forskning - indsats og resultater. I: H:S 1995-2000. Et strejftog i en ny konstruktions besværligheder og succeser. København: Hovedstadens Sygehusfællesskab, 2001: 32-5. http://www.hosp.dk /dec. 2003.
  18. Wallin JA. Forskningen ved sundhedsvidenskab i Odense 1966-1997. Odense: Syddansk Universitet - Odense Universitet, Det Sundhedsvidenskabelige Fakultet, 1999.
  19. Van Raan, AFJ. The influence of international collaboration on the impact of research results - Some simple mathematical considerations concerning the role of self-citations. Scientometrics 1998;42:423-8.
  20. Ingwersen P. Online indicators of Danish biomedical publication behaviour 1988-96: Research Evaluation 1999;8:39-45.