Skip to main content

Anvendelse af søgefiltre i systematiske søgninger

Tove Faber Frandsen1 & Mette Brandt Eriksen2, 3

14. mar. 2022
13 min.

En systematisk litteratursøgning er en essentiel del af systematiske oversigtsartikler og kliniske guidelines og hermed en vigtig brik i selve det fundament, som evidensbaseret medicin hviler på. Cochrane Handbook angiver da også, at »… systematiske review kræver tilbundsgående, objektiv og reproducerbar søgning i en række kilder for at identificere så mange kvalificerede studier som muligt inden for en ressourcegrænse [oversat fra engelsk]«[1].

Fakta

Hovedbudskaber

For at kunne sammensætte en grundig og udtømmende søgning, der genfinder så meget af den relevante litteratur som muligt, forudsættes et godt kendskab til de bibliografiske databasers opbygning og anvendelse. Det er vigtigt både at anvende databasernes emneordssystemer samt at kunne konstruere en fritekstsøgning, der har til formål at identificere relevante artikler, der ikke fanges af emneordssøgningen. Hvis man skal udarbejde en systematisk litteratursøgning af høj kvalitet, er det således et omfattende og tidskrævende arbejde [2].

Der findes en række metoder og værktøjer, der kan hjælpe i søgeprocessen. Søgefiltre er prædefinerede søgestrategier, der er designet til at genfinde bestemte publikationer såsom dem med et bestemt metodologisk design [1]. I arbejdet med at udvikle søgestrategier kan man således trække på andres arbejde, og søgefiltre kan bidrage til at skabe en mere effektiv søgning og derved nedbringe den tid, der bruges på at udarbejde systematiske oversigtsartikler og guidelines [3, 4]. Søgefiltre kan desuden bidrage til en mere fuldstændig genfinding af relevante studier, da filtrets genfinding kan testes og valideres før brug. Cochrane Handbook anbefaler da også, at man gør brug af specialdesignede og testede søgefiltre, hvor det er relevant [5].

Søgefiltre kan udarbejdes til at genfinde artikler inden for både overordnede og mere specifikke emner. Herunder kan nævnes metodologiske søgefiltre, som er udarbejdet til at identificere særlige studiedesign, f.eks. Cochranes søgefilter til RCT’er [5] og systematiske review [6]. Søgefiltre udarbejdet til at identificere artikler inden for særlige populationer kan f.eks. omfatte mennesker med et handicap [7].

Anvendelse af søgefiltre giver altså mulighed for at konstruere en søgestrategi med et i hvert fald delvist kendskab til ydeevnen af en litteratursøgning, hvis man anvender søgefiltre, som er validerede. Herved kan brugen af højkvalitetssøgefiltre både øge kvaliteten af den systematiske litteratursøgning og reducere den tid, som det tager at udarbejde og eksekvere søgningen. I denne statusartikel vil vi give nogle eksempler på søgefiltre samt give et overblik over, hvordan man evaluerer et søgefilter. Vi viser også, hvorledes man identificerer et søgefilter, og hvordan man kan beskrive brugen af et søgefilter, hvis søgningen skal afrapporteres.

Sådan vælger man et søgefilter

Søgefiltre kan som tidligere nævnt lette arbejdet betydeligt med at udarbejde systematiske søgninger, men man skal dog være opmærksom på, at brug af filtre kan resultere i, at relevante studier ikke findes [8-10]. Eksklusion af relevante studier ved anvendelse af et filter kan skyldes udfordringer med inkonsistent terminologi [8], og så bør man overveje, om et filter bør anvendes. Men det kan også hænge sammen med valg af konkret filter, der kan spænde vidt i forhold til genfinding. Pædiatriske søgefiltre genfinder f.eks. 44,8-99,5% af de relevante studier [10]. Et filter til at identificere et specifikt studiedesign vil ikke kunne identificere de relevante publikationer, hvis studiedesignet ikke er afrapporteret. Et eksempel er søgefiltre til at identificere RCT’er, der ikke genfinder studier uden en tydelig beskrivelse af studiedesign eller randomisering, men som derimod beskriver studiets fase i stedet [9]. Der er meget stor forskel på de eksisterende og ofte anvendte søgefiltre, og derfor skal søgefiltre udvælges og anvendes med omhu [11].

Der findes tre typer af søgefiltre: 1) erfaringsbaserede, ikketestede 2) subjektive, testede samt 3) objektivt udviklede filtre baseret på ordfrekvens [12]. Tidlige filtre var i høj grad baseret på erfaring, hvorimod en betydelig metodeudvikling i de senere år har leveret en lang række forskningsbaserede filtre [13]. For at sikre høj kvalitet i litteratursøgningerne er det centralt, at filtret er testet og valideret. Et filter udvikles i fire stadier, og kvaliteten af filtret afhænger af grundigheden i disse fire stadier: 1) udvælgelse af søgeord, 2) identifikation af guldstandard, 3) test eller evaluering af søgefiltret samt 4) validering [12]. Test af et filter sker ved at måle filtrets effektivitet med udgangspunkt i en guldstandard. Validering af et søgefilter indebærer, at resultaterne af test af filtret bekræftes ved at teste filtret med udgangspunkt i en anden guldstandard end den anvendt til at udvikle filtret. Langt de fleste publicerede filtre er fagfællebedømte [5, 14]. Selvom få søgefiltre er validerede, eksisterer der gode eksempler, som har bidraget til at kvalificere anvendelse af søgefiltre [13, 15].

Når man skal vælge et filter, bør det ske med udgangspunkt i, hvorvidt filtret kan identificere alle de relevante publikationer og helst kun de relevante. Test såvel som validering fokuserer således på at bedømme et søgefilter ud fra genfinding og præcision.

Genfinding, også kaldet recall eller sensitivity, er forholdet mellem antallet af fremfundne relevante dokumenter og det antal relevante dokumenter, som findes i databasen [16]. Høj genfinding vil altid være målet for en søgning til et systematisk review, men kan dog udelukkende måles under eksperimentelle forhold, da det naturligvis ikke er gennemførligt at gennemgå hele databaser med millioner af referencer for at udregne genfindingen af sit søgefilter [17]. Genfinding kan beregnes pragmatisk ved at anvende de inkluderede studier i eksisterende review som guldstandard, også kaldet relative recall [17].

Præcision er forholdet mellem antallet af relevante fremfundne dokumenter og det samlede antal fremfundne dokumenter [16]. Dette forhold udtrykker andelen af støj i en søgning. Præcision beregnes med udgangspunkt i søgeresultatet og kan let beregnes. Præcision kan beregnes pragmatisk ved afgrænsning af søgeresultatet til f.eks. et mindre udsnit af publikationsår og kaldes derved relativ præcision [18]. Man vil også til tider finde et mål benævnt numbers needed to read, der minder om præcisionen af søgefiltret, i form af den arbejdsmængde, der er forbundet med at identificere de relevante referencer [5].

Recall og præcision er omvendt forbundne, og målet om høj genfinding øger derfor støjen i søgningen, hvorved der skal bruges mere tid på sortering af resultatet [16]. Ved udvælgelse af et søgefilter bør man dog vægte genfinding højere end præcision [19]. Et eksempel på denne vægtning er fastsættelse af acceptable niveauer af genfinding (f.eks. > 90%) og præcision (f.eks. > 10%) [19, 20]. Det sker dog, at præcisionen for et filter er så lav, at filtret bidrager meget lidt til en effektiv søgeproces [21, 22].

Eksempler på søgefiltre

Søgefiltre udarbejdes til specifikke databaser, f.eks. Medline, Embase, PubMed og CINAHL. Databaser er opbygget forskelligt, f.eks. opererer de bibliografiske databaser med forskellige emneordssystemer (tesauri), og dette tager søgefiltre højde for. I Tabel 1 ses konkrete eksempler på forskellige validerede søgefiltre og deres præstation. I tabellen er angivet et eksempel på to RCT-søgefiltre, som er karakteriseret ved at have forskellig genfinding og præcision. Søgefiltrene er udviklet af Cochrane og er revideret over tid [1]. Søgefiltrene har begge en høj genfinding, men en meget forskellig præcision. Den øgede genfinding fra 93% til 96% er altså på bekostning af præcisionen, som reduceres fra 46% til 14%. Dette vil resultere i et større søgeresultat, hvis det mest sensitive søgefilter anvendes. Cochrane Handbook angiver da også, at man bør starte med at anvende det mest sensitive søgefilter, men i tilfælde af, at dette giver et uhåndterligt søgeresultat, kan det mere præcise søgefilter anvendes [1]. Søgefiltre udviklet til at fange kvalitative studier [23] er ligeledes eksempler på filtre med henholdsvis højeste genfinding og bedste balance mellem genfinding og præcision.

Sådan identificerer man søgefiltre

Som tidligere beskrevet findes der forskellige typer af søgefiltre, og ønsker man at anvende søgefiltre, er det hensigtsmæssigt at orientere sig mod organisationer eller netværk, der har samlet forskellige søgefiltre grupperet på emne. Det er imidlertid vigtigt at forholde sig kritisk til de søgefiltre, man finder. I Tabel 2 ses en liste over organisationer eller netværk, som tilbyder oversigter over søgefiltre fordelt på emne. InterTASC Information Specialists' Sub-Group (ISSG) Search Filter Resource [27] bidrager med en oversigt over søgefiltre opdelt på emne eller studiedesign. Informationen om søgefiltrene findes typisk på to niveauer: 1) Publikationer, der inden for et område (f.eks. livskvalitet) samlet evaluerer flere søgefiltrenes ydeevne, og 2) individuelle studier, der typisk har udviklet et søgefilter inden for et givet område. ISSG’s liste over søgefiltre skal ikke ses som en anbefaling af søgefiltrene fra deres side. Det påhviler altså en selv at vurdere dette, eventuelt ved brug af ISSG Search Filter Appraisal Checklist. ISSG opdaterer og tilføjer løbende nye søgefiltre.

For søgefiltre fra McMaster University Health Information Research Unit HIRU Hedges, Canadian Agency for Drugs & Technologies in Health og Scottish Intercollegiate Guidelines Network gælder, at disse nemt kan kopieres ind i de respektive databaser, som de er udviklede til; dog er de ikke nødvendigvis validerede.

Afrapportering af anvendte søgefiltre

Anvendte søgefiltre skal citeres, uanset om de er publicerede i en tidsskriftsartikel eller på anden vis er tilgængelige. Det giver læseren mulighed for at vurdere kvaliteten af søgefiltret. Eksisterende anbefalinger samt PRISMA-S retningslinjer: Preferred Reporting Items for Systematic reviews and Meta-Analyses literature search extension, anbefaler, at anvendte søgefiltre citeres, og at eventuelle tilpasninger beskrives i metodeafsnittet [29, 30]. Hvis et filter f.eks. er udviklet til PubMed, men anvendes i Medline, vil der ske en tilpasning. Ligeledes vil et filter tilpasses, hvis det udvides til at omfatte mere end det oprindeligt er udviklet til. Hvordan søgefiltret konkret er anvendt i de enkelte databaser bør fremgå af søgehistorikken.

Konklusion

Søgefiltre kan nedsætte tidsforbruget i forbindelse med udarbejdelse af litteratursøgninger og kan samtidig øge kvaliteten af søgningen. Ideelt bør man anvende et valideret søgefilter, så man er bekendt med, hvordan søgefiltret præsterer. Man er dog ofte nødt til at træffe nogle valg vedrørende genfinding og præcision. Hvis man ønsker at anvende et filter med den højest mulige genfinding, kan man risikere at ende med et meget stort og i praksis næsten ubrugeligt søgeresultat. Ved en systematisk litteratursøgning, der har til hensigt at være så udtømmende som muligt, er det mest hensigtsmæssige at anvende det filter, der har den højeste genfinding, men man kan ende med et så uoverskueligt stort søgeresultat, at man må tage andre midler i brug. Filtre med et bedre forhold mellem genfinding og præcision kan i sådanne situationer være et hensigtsmæssigt valg. Mange eksisterende søgefiltre er dog ikke validerede, og her er det endnu mere nødvendigt at forholde sig kritisk til anvendelsen af dem, ligesom det er helt essentielt at angive, hvor man har søgefiltret fra.



Korrespondance Tove Faber Frandsen. E-mail: t.faber@sdu.dk
Antaget 12. januar 2022
Publiceret på ugeskriftet.dk 14. marts 2022
Interessekonflikter ingen. Forfatternes ICMJE-formularer er tilgængelige sammen med artiklen på ugeskriftet.dk
Referencer findes i artiklen publiceret på ugeskriftet.dk
Artikelreference Ugeskr Læger 2022;184: V12210901

Summary

The use of search filters in systematic searches

Tove Faber Frandsen & Mette Brandt Eriksen

Ugeskr Læger 2022;184:V12210901

In this review, we provide an overview of search filters, which are pre-formulated search strategies developed to help identify articles within a given topic or with a particular study design. We present the rationale behind search filters and how they are used. Using a search filter may however, result in missing relevant publications and they should be used with care. Therefore, we describe how these search filters are developed and evaluated. Finally, we provide guidance on how the use of a search filter is reported in a systematic search.

Referencer

Referencer

  1. Lefebvre C, Glanville J, Briscoe S et al. Chapter 4: Searching for and selecting studies. I: Higgins JPT, Thomas J, Chandler J et al, red. Cochrane Handbook for Systematic Reviews of Interventions. Version 6. The Cochrane Collaboration, 2019.

  2. Saleh AA, Ratajeski MA, Bertolet M. Grey literature searching for health sciences systematic reviews: a prospective study of time spent and resources utilized. Evid Based Libr Inf Pract. 2014;9(3):28-50.

  3. Ayiku L, Levay P, Hudson T, Finnegan A. The NICE UK geographic search filters for MEDLINE and Embase (Ovid): post-development study to further evaluate precision and number-needed-to-read when retrieving UK evidence. Res Synth Methods. 2020;11(5):669-677.

  4. Wilczynski NL, McKibbon KA, Haynes RB. Sensitive Clinical Queries retrieved relevant systematic reviews as well as primary studies: an analytic survey. J Clin Epidemiol. 2011;64(12):1341-9.

  5. Lefebvre C, Glanville J, Beale S et al. Assessing the performance of methodological search filters to improve the efficiency of evidence information retrieval: five literature reviews and a qualitative study. Health Technol Assess. 2017;21(69):1-148.

  6. Wong SS, Wilczynski NL, Haynes RB. Comparison of top-performing search strategies for detecting clinically sound treatment studies and systematic reviews in MEDLINE and EMBASE. J Med Libr Assoc. 2006;94(4):451-5.

  7. Ioerger M, Flanders RM, Goss KD, Turk MA. Developing a systematic search strategy related to people with disability: a brief report testing the utility of proposed disability search terms in a search about opioid use. Disabil Health J. 2019;12(2):318-322.

  8. Leeflang MM, Scholten RJ, Rutjes AW et al. Use of methodological search filters to identify diagnostic accuracy studies can lead to the omission of relevant studies. J Clin Epidemiol. 2006;59(3):234-40.

  9. Cooper C, Varley-Campbell J, Carter P. Established search filters may miss studies when identifying randomized controlled trials. J Clin Epidemiol. 2019;112:12-19.

  10. Leclercq E, Leeflang MMG, van Dalen EC, Kremer LCM. Validation of search filters for identifying pediatric studies in PubMed. J Pediatr. 2013;162(3):629-634.e2.

  11. Cooper C, Kaunelis D, Campbell JV, Carter P. Letter in response to Thompson and Scott Authors’ letter reestablished search filters may miss studies when identifying randomized controlled trials. Language for trial phase necessary when searching for RCT. J Clin Epidemiol. 2020;117:154-156.

  12. Jenkins M. Evaluation of methodological search filters - a review. Health Info Libr J. 2004;21(3):148-63.

  13. Glanville J, Bayliss S, Booth A et al. So many filters, so little time: the development of a search filter appraisal checklist. J Med Libr Assoc. 2008;96(4):356-61.

  14. Damarell RA, May N, Hammond S et al. Topic search filters: a systematic scoping review. Health Info Libr J. 2019;36(1):4-40.

  15. Rosumeck S, Wagner M, Wallraf S, Euler U. A validation study revealed differences in design and performance of search filters for qualitative research in PsycINFO and CINAHL. J Clin Epidemiol. 2020;128:101-108.

  16. Buckland M, Gey F. The relationship between recall and precision. J Am Soc Inf Sci. 1994;45(1):12-19.

  17. Sampson M, Zhang L, Morrison A et al. An alternative to the hand searching gold standard: validating methodological search filters using relative recall. BMC Med Res Methodol. 2006;6:33.

  18. Glanville J, Kotas E, Featherstone R, Dooley G. Which are the most sensitive search filters to identify randomized controlled trials in MEDLINE? J Med Libr Assoc. 2020;108(4):556-563.

  19. Haynes RB, Wilczynski N, McKibbon KA et al. Developing optimal search strategies for detecting clinically sound studies in MEDLINE. J Am Med Inform Assoc. 1994;1(6):447-58.

  20. Beynon R, Leeflang MM, McDonald S et al. Search strategies to identify diagnostic accuracy studies in MEDLINE and EMBASE. Cochrane Database Syst Rev. 2013(9):Mr000022.

  21. Glanville J, Kaunelis D, Mensinkai S. How well do search filters perform in identifying economic evaluations in MEDLINE and EMBASE. Int J Technol Assess Health Care. 2009;25(4):522-9.

  22. Lunny C, Salzwedel DM, Liu T et al. Validation of five search filters for retrieval of clinical practice guidelines produced low precision. J Clin Epidemiol. 2020;117:109-116.

  23. Wong SSL, Wilczynski NL, Haynes RB. Developing optimal search strategies for detecting clinically relevant qualitative studies in MEDLINE. Stud Health Technol Inform. 2004;107(Pt 1):311-6.

  24. Wagner M, Rosumeck S, Kuffmeier C et al. A validation study revealed differences in design and performance of MEDLINE search filters for qualitative research. J Clin Epidemiol. 2020;120(Apr):17-24.

  25. Lefebvre C, Glanville J, Briscoe S et al. Technical supplement to Chapter 4: Searching for and selecting studies. I: Higgins JPT, Thomas J, Chandler J et al, red. Cochrane Handbook for Systematic Reviews of Interventions Version 6. The Cochrane Collaboration, 2019.

  26. Ayiku L, Hudson T, Glover S et al. The NICE MEDLINE and Embase (Ovid) health apps search filters: development of validated filters to retrieve evidence about health apps. Int J Technol Assess Health Care. 2021;37:e16.

  27. The InterTASC Information Specialists’ Sub-Group. The InterTASC Information Specialists’ Sub-Group Search Filter Resource: Filters to find studies of geographic locations. https://sites.google.com/a/york.ac.uk/issg-search-filters-resource/.

  28. https://hiru.mcmaster.ca/hiru/HIRU_Hedges_home.aspx.

  29. Rethlefsen ML, Kirtley S, Waffenschmidt S et al. PRISMA-S: an extension to the PRISMA Statement for Reporting Literature Searches in Systematic Reviews. Syst Rev. 2021;10(1):39.

  30. McGowan J, Sampson M, Salzwedel DM et al. PRESS Peer Review of Electronic Search Strategies: 2015 Guideline Statement. J Clin Epidemiol. 2016;75:40-6.