Validiteten af spørgeskemaundersøgelser med lav svarprocent

Introduktion: Formålet var at sammenligne karakteristika ved deltagere, som svarede efter skriftlig og telefonisk kontakt, og ikkedeltagere fra en epidemiologisk undersøgelse.

Materiale og metoder: Undersøgelsen bygger på spørgeskemaoplysninger og sociodemografiske data om familietype, forældrealder, uddannelse og tilknytning til arbejdsmarkedet. Child Behavior Checklist for Ages 1 -5 (CBCL/1 -5) og Oplevelser ved at besvare et spørgeskema (OBS) blev postomdelt til forældre til 300 halvandet- til femårige børn. Forældre, som ikke responderede, blev kontaktet telefonisk.

Resultater: I alt 138 forældre deltog efter to skriftlige henvendelser, 99 forældre deltog efter telefonkontakt, og med 63 forældre opnåedes ingen kontakt. Der fandtes ingen statistisk signifikante forskelle mellem de tre grupper med hensyn til de sociodemografiske variabler. Der var ingen forskel på forældrerapporteret problemadfærd på CBCL/1 -5 afhængigt af, om forældrene deltog efter skriftlig eller telefonisk kontakt. Forældre, som deltog efter telefonkontakt, mente oftere end forældre, som deltog efter skriftlig kontakt, at spørgsmålene i CBCL/1 -5 virkede etisk anstødelige, og flere mente, at deres viden om trivsel og adfærd hos børn var utilfredsstillende (p < 0,01).

Konklusion: Begrundet fravalg af deltagelse er associeret med forældrenes holdning til CBCL/1 -5's etiske anstødelighed og med forældrenes utilfredsstillende viden om trivsel og adfærd hos børn. På trods af dette og den lave deltagelsesprocent synes disse børnepsykiatriske epidemiologiske resultater fra postomdelte spørgeskemaer at kunne generaliseres.

Spørgeskemastudier har gennem de sidste årtier haft faldende deltagelsesprocenter [1-4], også inden for det børnepsykiatriske felt i Danmark [5-7].

Normalt vurderes en høj deltagelsesprocent som en væsentlig forudsætning for at kunne generalisere resultater fra epidemiologisk forskning. Lave svarprocenter fører ud over reduceret statistisk styrke til introduktion af mulige bias. Sidstnævnte sker, hvis deltagelsen er associeret med bestemte karakteristika hos informanterne, hvorved generaliserbarheden reduceres, og undersøgelsesresultaterne ikke anses som repræsentative for hele befolkningen [1]. Hvis deltagere og ikkedeltagere ved analyser kan påvises at være sammenlignelige, kan resultaterne med større vægt generaliseres. Der er ikke fremlagt entydig dokumentation for, hvor stort eller lille et bortfald kan være, før det får betydning for fortolkningen af undersøgelsens resultater [1]. Der er tidligere argumenteret for, at bortfald på over 40% er uacceptable, og at størrelsen af bortfaldet er associeret med mængden af bias i studiet [8].

I et review fra 2007 blev strategier for at øge deltagelsen i postomdelte spørgeskemaundersøgelser identificeret. En høj svarprocent var associeret med betaling af deltagere, anbefalet fremsendelse af spørgeskemaet, varsel forud for fremsendelse af spørgeskemaet, kort spørgeskema, spørgeskema printet med farvet blæk, genfremsendelse af spørgeskemaet ved påmindelser, frimærkefrankerede svarkuverter og forsikring om anonymitet. Lav svarprocent var associeret med spørgsmål af »sensitiv natur« og information om, at det var muligt at fravælge deltagelse [1].

I en metaanalyse fra 1994 fandt man, at den gennemsnitlige deltagelse i postomdelte spørgeskemaundersøgelser var 61,3%, i telefoninterviews 67,2% og ved face-to-face- interviews 70,3% [9].

Litteraturen dokumenterer, at telefonisk kontakt med informanter, som ikke svarer på en postomdelt undersøgelse, øger deltagelsen og samtidig skaber en mindre fejlbehæftet deltagelsespopulation end ved udelukkende skriftlig kontakt [10, 11]. Af en litteraturgennemgang fra 2001 fremgår det, at deltagere, fravælgere og ikkedeltagere var forskellige med hensyn til alder, køn og interesse. Fravælgere var ældre og ringere uddannet end deltagere, og mænd deltog mindre hyppigt end kvinder. Informanter, som havde symptomer eller var interesseret i det undersøgte, valgte oftere deltagelse end andre [12].

Formålet med denne undersøgelse var at sammenligne forskellige grupper af deltagere, fravælgere og ikkedeltagere. Sammenligning blev foretaget med hensyn til udvalgte sociodemografiske karakteristika, oplevelse ved at deltage i undersøgelsen, forældrerapporteret problemadfærd hos førskolebørn og grunde til fravalg af deltagelse.

Materiale og metoder

I januar 2004 blev der tilfældigt udtrukket 300 børn fra Den Århusianske Fødselskohorte (DÅF) ved Perinatal Epidemiologisk Forskningsenhed (PERU), Århus Universitetshospital, Skejby. DÅF blev etableret i 1989. Der registreres årligt oplysninger om cirka 5.000 nyfødte og deres mødre. Der blev udtrukket 30 piger og 30 drenge i fem aldersgrupper: halvandet, to, tre, fire og fem år. Der optrådte kun ét barn pr. familie. Børn af to udenlandske forældre blev ekskluderet.

Familierne modtog undersøgelsesmaterialet med posten. Familier, som ikke havde svaret efter tre uger, fik en skriftlig påmindelse. Familier, som ikke svarede efter yderligere tre uger, blev ringet op. Undersøgelsesmaterialet bestod af spørgeskemaerne Child Behavior Checklist for Ages 1 -5 (CBCL/1-5) og »Oplevelser ved at besvare et spørgeskema« (OBS).

Der blev indhentet sociodemografiske oplysninger fra Danmarks Statistik fra 2004 om barnets cpr-nummer og om, hvorvidt bar net bor med én eller to voksne, og for mor henholdsvis far tilknytning til arbejdsmarkedet, højeste fuldførte uddannelse samt alder på undersøgelsestidspunktet. Forældrenes tilknytning til arbejdsmarkedet blev dikotomiseret i lønmodtager, selvstændig, på orlov, medhjælpende ægtefælle eller studerende versus arbejdsløs, på kontanthjælp, uden for arbejde, i aktivering, i revalidering, pensionist eller på sygedagpenge. Uddannelsesniveau blev opdelt, efter om det var kompetencegivende til erhverv eller ej. Forældrenes alder blev opdelt som ≤ 35 versus ≥ 36 år.

CBCL/1 -5 indeholder 100 spørgsmål vedrørende problemadfærd. Besvarelser bygger på observationer af barnet gennem de seneste to måneder. Der svares og scores i tre kategorier, og ved addition af samtlige resultater opnås den totale problemscore (TPS).

OBS var udarbejdet efter litteraturen [13, 15] med 21 spørgsmål til 1) undersøgelsen, 2) oplevelse ved at besvare CBCL/1 -5, 3) viden og behov for information om psykisk lidelse hos børn og 4) begrundelse for fravalg af deltagelse. De første tre kategorier besvaredes »ja« henholdsvis »nej«, og den fjerde ved afkrydsning af: »Fordi undersøgelsen omhandler børns trivsel og adfærd«, »Tidligere erfaring med deltagelse i forskning«, »Tid og/eller overskud« og/eller »Andet«. Ved »Andet« var der mulighed for at uddybe dette. I telefoninterviewet blev der kun anvendt seks udvalgte spørgsmål fra OBS.

Ved den telefoniske kontakt blev der anvendt en manual. Forældrene blev informeret om, at de havde mulighed for at vælge at deltage ved: 1) at tilbagesende spørgeskemaerne som de havde modtaget med posten 2) at besvare seks spørgsmål i telefonen eller 3) at oplyse, hvorfor de fravalgte deltagelse i undersøgelsen.

Deltagelse blev kategoriseret for tre overordnede grupper (Figur 1 ). Gruppe A bestod af dem, der deltog. Gruppe B bestod af dem, der begrundede deres fravalg af deltagelse. Gruppe C bestod af ikkedeltagere. De tre grupper blev underinddelt i syv grupper. Gruppe A bestod af grupperne 1, 4 og 5: deltagere som besvarede CBCL/1 -5 og/eller OBS pr. post eller i telefon. Gruppe B bestod af gruppe 2 og 6: deltagere, som begrundede fravalg pr. post eller i telefon. Gruppe C bestod af grupperne 3 og 7: deltagere, som vi ikke kom i kontakt med. Gruppe B og C udgør den gruppe man traditionelt betegner som bortfaldsgruppen (Tabel 1 ).

Etik

Undersøgelsen er godkendt af Datatilsynet. Jævnfør Lov nr. 402 af 28. maj 2003 om det videnskabsetiske komitesystem og behandling af biomedicinsk forskning krævede undersøgelsen ikke Den Videnskabsetiske Komités godkendelse. Forældrene gav samtykke til deltagelse.

Det har så stor betydning at få viden om, hvad deltagelse betyder for epidemiologisk forskning, at det retfærdiggør den mulige ulejlighed, den enkelte familie måtte opleve ved at blive kontaktet telefonisk [16] for at opnå viden om ikkedeltagere i epidemiologiske undersøgelser.

Statistik

Databehandlingen og analyser blev foretaget i statistikprogrammet SPSS version 14 for Windows. Til de statistiske sammenlignende analyser blev der benyttet χ2 -test eller Fishers eksakte test med et signifikansniveau på 5%.

Resultater

Af de 300 kontaktede forældre reagerede 138 (46%) efter de skriftlige henvendelser. Af de 138 besvarede 111 CBCL/1 -5 og OBS, mens 27 forældre begrundede deres fravalg. I alt 162 (54%) reagerede ikke på henvendelsen, fire var ukendte på adressen og blev ikke erstattet. Af de 158 forældre var det ikke muligt at finde telefonnumre på 38 familier. Der blev forsøgt telefonisk kontakt til 120 forældre. Herefter fik 40 forældre tilsendt undersøgelsesmaterialet igen men deltog ikke, 44 forældre besvarede CBCL/1 -5 og/eller OBS, 15 forældre begrundede fravalg telefonisk, og 21 forældre forstod ikke dansk eller blev forgæves forsøgt kontaktet tre gange.

I gruppe A deltog i alt 155 familier (52%), i gruppe B i alt 42 familier (14%) og i gruppe C 103 familier (34%). Deltagelsesstatus er gengivet i Figur 1.

For hver af de fire valgte sociodemografiske variabler blev de to undergrupper i gruppe A, henholdsvis B og C sammenlignet. Ved de i alt tolv sammenligninger fandtes ingen statistisk signifikante forskelle mellem undergrupperne. For eksempel var der ikke signifikant forskel på andelen af børn, der boede med én og med to forældre blandt deltagere (Gruppe A).

For at belyse hypotese I-V blev de dikotomiserede sociodemografiske variabler også sammenlignet for de respektive grupper. For eksempel blev andelen af mødre på under eller lig med 35 år sammenlignet med den andel, der var over 35 år, mellem de familier, som svarede efter de skriftlige henvendelser (Gr. 1), og de familier, som enten besvarede efter den telefoniske kontakt eller slet ikke svarede (Gr. 2-7). For de i alt 25 sammenligninger blev der ikke fundet nogen statistisk signifikante forskelle.

TPS for de 111 børn af forældre, som besvarede efter de skriftlige henvendelser (Gennemsnitlig TPS: 18,6, standardafvigelse: 20,5) blev sammenlignet med TPS for de 20 børn af forældre, som besvarede efter den telefoniske kontakt (gennemsnitlig TPS: 18,3, standardafvigelse: 15,0), p = 0,95.

Resultater af sammenligning af svar på de seks udvalgte spørgsmål fra OBS er gengivet i Tabel 2 . Forældre, som del-tog efter den telefoniske henvendelse, mente hyppigere end forældre, som deltog efter de skriftlige henvendelser, at der er spørgsmål i CBCL/1-5, som virker etisk anstødelige, p < 0,05. Forældre, som deltog efter den telefoniske henvendelse, mente hyppigere end forældre, som deltog efter de skriftlige henvendelser, at deres viden om trivsel og adfærd hos børn er utilfredsstillende, p < 0,05.

På spørgsmålet om, hvorfor familierne fravalgte undersøgelsen, var det muligt at afgive flere svar. Den hyppigste begrundelse for fravalg var »Tid og/eller overskud«. Vi fandt ingen statistisk signifikant forskel i hyppigheden af begrundelse af fravalg på grund af »Tid og/eller overskud« mellem de 27 familier, som fravalgte deltagelse skriftligt efter første henvendelse, og de 15 familier, som fravalgte mundtligt i telefonen, p = 0,49.

Diskussion

I overensstemmelse med anbefalinger om effektive strategier til opnåelse af høj besvarelse i postomdelte spørgeskemaundersøgelser er undersøgelsen designet med anvendelse af skriftlig påmindelse og telefonkontakt, frimærkefrankerede svarkuverter og forsikring om anonymitet [1, 11]. Vi infor-merede om muligheden for til enhver tid at trække barnets deltagelse tilbage, som det anbefales af Den Videnskabsetiske Komité, selv om det divergerer med, hvad der tilrådes i international litteratur [1].

Deltagelsesprocenten i undersøgelsen er 52%, hvilket er 9% lavere end i et sammenligneligt dansk studie fra 1999 [5], hvor undersøgelsespopulationen var børn og unge mellem fire og 16 år. I det pågældende studie steg deltagelsen med børnenes faldende alder, hvorfor vi forventede en højere deltagelse end den faktiske. Den faldende deltagelsesprocent over de seneste år passer med tr ends beskrevet i internationale reviews [2, 3].

Postomdelte spørgeskemaundersøgelser designes hyppigt med to eller tre skriftlige henvendelser. Vi var interesserede i at undersøge om den gruppe, som vi normalt ikke får oplysninger fra i postomdelte spørgeskemaundersøgelser, er forskellig fra deltagere. Derfor designede vi undersøgelsen med to skriftlige postomdelte henvendelser - og derudover én telefonisk. Den telefoniske gav os mulighed for at få viden om en del af den gruppe, som normalt tilhører bortfaldet.

Vort vigtigste fund er, at hverken deltagelse, begrundet fravalg eller ikkedeltagelse er forbundet med specificerede karakteristika for nogen af de undersøgte sociodemografiske variabler: familietype, forældrenes alder, uddannelse eller tilknytning til arbejdsmarkedet. Det er tidligere dokumenteret, at fravælgere er ældre og ringere uddannet end deltagere. De studier, der danner grundlag for disse konklusioner, bygger på »primære informanter«, modsat vor undersøgelse, hvor forældre gav oplysninger om deres børn [12].

Vi har ikke fundet studier, der beskriver betydningen af, at forældre - som her - giver oplysninger om deres børns problemadfærd.

Forældre, som deltager efter skriftlig og telefonisk kontakt, vurderer ikke deres børn forskelligt i forhold til problemadfærd. Hvornår i studieforløbet forældrene vælger deltagelse, har altså ingen sammenhæng med mængden af rapporteret problemadfærd hos børnene. Dette skal ses sammen med tidligere fund, hvor det beskrives, at informanter, som har sym-ptomer, oftere vælger deltagelse end andre [12]. Igen er der her tale om, at forældre giver oplysninger for deres børn, hvilket ikke er tilfældet i den sammenlignelige litteratur.

Vi finder, at begrundet fravalg er associeret dels med en holdning hos forældrene til, at CBCL/1-5 virker etisk anstødelig, dels med forældrenes utilfredsstillende viden om trivsel og adfærd hos børn. Det er tidligere dokumenteret, at deltagelse er ringere, hvis emnet er af »sensitiv natur« [1]. Emner af børnepsykiatrisk karakter anses stadig for stigmatiserende [17]. Fundet af utilfredsstillende viden hos fravælgere er ligeledes samstemmende med tidligere fund under antagelse af, at interesse for et emne er forbundet med viden [12]. Fravalget begrundes hyppigst med manglende tid og/eller resurser, hvilket vi ikke har fundet tilsvarende i litteraturen.

CBCL/1 -5, OBS og informationsmaterialet er tilsammen relativt omfangsrigt, hvilket jævnfør litteraturen kan have påvirket deltagelsesstatus [1, 11]. Det har dog ingen betydning i forhold til de undersøgte sociodemografiske variabler og forældrerapporteret problemadfærd hos børnene.

Alt i alt finder vi, at begrundet fravalg er associeret med forældrenes holdning til CBCL/1 -5's etiske anstødelighed og med forældrenes utilfredsstillende viden om trivsel og adfærd hos børn. Vi finder ikke, at der er forskelle på de sociodemografiske karakteristika imellem deltagere, fravælgere og ikkedeltagere.

Med baggrund i den aktuelle undersøgelse synes resultater af epidemiologiske forskningsresultater at kunne generaliseres trods lav deltagelse, når det gælder undersøgelser, hvor forældre besvarer spørgsmål om forhold vedrørende deres børn.

Solvejg Kristensen, Forskningsenheden, Det Børne- og Ungdomspsykiatriske Hus, Universitetsafdeling, DK-5000 Odense C.

E-mail: solvejg.kristenstensen@ouh.regionsydddanmark.dk

Antaget: 26. februar 2008

Interessekonflikter: Ingen

Taksigelse: Tak til overlæge Tine Brink Henriksen leder af PERU for tilgang til data fra DÅF.

1. Edwards P, Roberts I, Clarke M et al. Increasing response rates to postal questionnaires: systematic review. BMJ 2002;324:1183.
2. Morton LM, Cahill J, Hartge P. Reporting participation in epidemiologic studies: a survey of practice. Am J Epidemiol 2006;163(3):197-203.
3. Steeh C. Trends in nonresponse rates, 1952-1979. Public Opin Q 1981;45: 40-57.
4. Zwisler JE, Jarbol DE, Lous J. Spørgeskemaundersøgelser - hvordan opnår jeg en høj besvarelsesprocent? Ugeskr Læger 2004;166:575-8.
5. Bilenberg N. The Child Behavior Checklist (CBCL/1-5) and related material: standardization and validation in Danish population based and clinically based samples. Acta Psychiatr Scand Suppl 1999;398:2-52.
6. Kastrup M. Psychic disorders among pre-school children in a geographically delimited area of Aarhus County, Denmark. Acta Psychiatr Scand Suppl 1976;54:29-42.
7. Bilenberg N, Petersen DJ, Hoerder K, Gillberg C: The prevalence of childpsychiatric disorders among 8 to 9-year-old children in Danish mainstream schools. Acta Psych Scand 2005;111:59-67.
8. Mangione TW. Mail surveys. Improving the quality. Applied social research methods series. Vol 40. Thousand Oaks, CA: Safe Publications, 1995.
9. Hox J, de Leeuw ED. A comparrison of nonresponse in mail, telephone, and face-to-face surveys - applying multilevel modeling to meta-analysis. Quality & Quantity 1994;28:329-44.
10. Fowler FJ, Jr., Gallagher PM, Stringfellow VL et al. Using telephone interviews to reduce nonresponse bias to mail surveys of health plan members. Med Care 2002;40:190-200.
11. Nakash RA, Hutton JL, Jorstad-Stein EC et al. Maximising response to postal questionnaires - a systematic review of randomised trials in health research. BMC Med Res Methodol 2006;6:5.
12. Gerrits MH, van den Oord EJ, Vo