Skip to main content

Treårsopfølgning af en klinisk børnepsykiatrisk kohorte

Professor Niels Bilenberg & reservelæge Dorthe Pedersen Odense Universitetshospital, Det Børne- og Ungdomspsykiatriske Hus, og Børne- og Ungdomspsykiatrisk Hospital, Risskov

9. maj 2007
16 min.


Introduktion: Der findes ingen prospektive opfølgningsstudier, der bygger på klinisk information om børnepsykiatriske patientpopulationer i Danmark. Sådanne studier er nødvendige, hvis lægen skal kunne informere patienter og pårørende om det forventede forløb af psykiske sygdomme hos børn.

Materiale og metoder: Data ved udgangspunktet er indsamlet for i alt 110 børn, 91 drenge og 19 piger (4-13 år), der er blevet undersøgt i to børnepsykiatriske ambulatorier i henholdsvis Århus Amt og Fyns Amt. Børnene blev undersøgt og fik stillet kliniske diagnoser fordelt over det diagnostiske spekter. Ved udgangspunktet blev der desuden registreret demografiske data, graden af symptombelastning (Child Behavior Checklist (CBCL)) og global funktionsscore. Kohorten er fulgt årligt med spørgeskemaer til forældrene (CBCL) og børnenes klasselærere.

Resultater: Symptombelastningen faldt i opfølgningsperioden, både i rå score og i T-score som udtryk for mindre relativ afvigelse fra baggrundspopulationen. Størst reduktion i problemscore blev målt hos børn med adfærdsforstyrrelser og emotionelle forstyrrelser i forhold til en mindre reduktion i symptombelastning hos børn med neuropsykiatriske forstyrrelser (autismespektrumlidelser, opmærksomhedsforstyrrelser og tics).

Konklusion: Opfølgningsstudiet inkluderede forholdsvis få børnepsykiatriske patienter og frafaldet i opfølgningsperioden var stort, hvilket reducerede styrken af resultaterne. Dog blev der fundet tendenser, der kan anvendes til prædiktion af patientforløb, ligesom materialet kan benyttes som treatment as usual- gruppe i senere behandlingsstudier.

Opfølgningsstudier er vigtige, for at man i et klinisk speciale kan vejlede og rådgive patienterne og de pårørende om det forventede forløb af de behandlede sygdomme. Der foreligger dog kun et begrænset antal danske opfølgningsstudier med børne- og ungdomspsykiatriske patienter, og disse studier er alle registerbaserede med de fordele og ulemper, som dette medfører. Registerdata er oftest komplette, men begrænses af de tilgængelige oplysningers relevans som outcome-mål og af datakvaliteten i de registre, som anvendes.

Prospektive opfølgningsdata indsamlet ved anvendelse af spørgeskemamaterialet Child Behavior Checklist (CBCL) foreligger fra en række udenlandske studier. I disse studier har man påvist, at de fleste børnepsykiatriske patienter scorer signifikant højere end baggrundspopulationen ved opfølgning, selv om en del får reduceret problembelastningen. At være pige, have tidlig symptom- eller sygdomsdebut og høj score som udgangspunkt påvirker prognosen negativt [1]. Specifikt hos patienter med opmærksomhedsforstyrrelser persisterer en høj problembelastning målt ved CBCL-total problemscore i opfølgningsstudier [2].

I Danmark er et større klinisk kohortestudie tidligere blevet gennemført i København [3, 4]. Studiet er en registerbaseret opfølgning på et børnepsykiatrisk materiale (n = 322) og viste høj forekomst af voksenpsykiatrisk sygelighed, kriminel adfærd og dårlig tilpasning til arbejdsmarkedet efter 30 år. I et lignende studie med udgangspunkt i alle børn indlagt på børnepsykiatriske afdelinger i perioden 1970-1973 (n = 546) [5] blev der fundet tilsvarende dårlig prognose med høj psykiatrisk sygelighed og overdødelighed. I andre opfølgningsstudier har man primært haft fokus på udvalgte diagnostiske kategorier, opmærksomhedsforstyrrelser [6], Aspergers syndrom [7] og tvangsforstyrrelser [8].

Spørgeskemasystemet CBCL er udarbejdet og afprøvet af Achenbach & Edelbruck [9]. Ud over forældreversionen findes der en lærerversion (Teachers Report Form (TRF)) [10] og en selvrapportversion (Youth SelfReport (YSR)) [11]. Spørgeskemaerne er anvendt i et stort antal undersøgelser over det meste af verden. Den danske udgave er standardiseret i et blandet populationsbaseret og klinisk materiale (n = 925) [12]. Verhulst har i Holland foretaget en række forløbsstudier i baggrundspopulationen [13, 14] og har dokumenteret en høj grad af stabilitet i problembelastning og scoringsprofiler. Desuden har en række forfattere med forskelligt resultat afprøvet CBCL-materialets diagnostiske validitet [15, 16]. Særlige scoringsprofiler på CBCL-materialet er prædikative for bestemte diagnoser, men der tilrådes generelt forsigtighed med hensyn til at anvende spørgeskemaerne diagnostisk.

Det er oftest ikke muligt at finde en kontrolgruppe til en blandet klinisk kohorte, som den i det aktuelle studie. For at omgå dette problem anvendes der i den omfattende CBCL-litteraturreference ofte en omskrivning af råscorer til T-scorer, som udtrykker afvigelsen fra normalscorer (data indhentet i store populationsstudier) i definerede køns- og aldersstratae. En T-score på 50 svarer til gennemsnitsscoren i baggrundspopulationen, og en standardafvigelse svarer til ti point.

Formålet med dette studie var at registrere og beskrive symptombelastningen hos patienter de første tre år efter undersøgelse og diagnostik i børnepsykiatrisk ambulatorium. Forløbene blev vurderet ud fra spørgeskemadata og sammenlignet på tværs af forskellige diagnoser ved udgangspunktet. Desuden søgtes andre forhold af prognostisk betydning belyst.

Materiale og metoder

Studiet er et prospektivt, naturalistisk opfølgningsstudie. Kohorten bestod af konsekutivt henviste børn til to ambulante enheder på henholdsvis Børne- og Ungdomspsykiatrisk Hospital i Risskov og Det Børne- og Ungdomspsykiatriske Hus i Odense. I alt 110 børn (91 drenge og 19 piger) med en medianalder på 8,9 år (spændvidde: 4-13 år) blev inkluderet. Alle børnene blev primært undersøgt og diagnosticeret i 1999-2000 af de to respektive team, der var sammensat af en speciallæge i børne- og ungdomspsykiatri, en klinisk børnepsykolog, en socialrådgiver og en distriktspædagog/sygeplejerske.

Data ved udgangspunktet udgøres af: 1) forældrespørgeskemaet CBCL, og 2) for en del af kohorten lærerskemaet TRF, 3) demografiske data og 4) International Classification of Diseases (ICD)-10's multiaksiale diagnoser (psykiatrisk syndrom, udviklingsforstyrrelse, begavelse, somatiske diagnoser, sociale forhold af betydning for diagnosen og global psykosocial funktion) [17]. Diagnoserne er stillet efter almindelig klinisk, diagnostisk praksis i de to deltagende centre, og det for behandlingen centrale psykiatriske syndrom, aktionsdiagnosen, er anvendt til kategorisering i diagnostiske hovedgrupper. Der er ikke foretaget interraterreliabilitetsvurdering.

Kohorten er fulgt i tre år med årlig udsendelse af spørgeskemaerne CBCL og TRF. Det samlede studie er planlagt som en femårig opfølgning. De første tre år med årlige spørgeskemabesvarelser, og ved femårsopfølgningen en rediagnostik af alle børn og unge i kohorten ved anvendelse af et telefoninterview.

Måling og dataindsamling

Spørgeskemaet CBCL er baseret på forældrenes oplevelse af barnet. Det er inddelt i to hovedafsnit om henholdsvis barnets kompetencer og barnets adfærds- og følelsesmæssige problemer. Problemafsnittet består af 118 items, som besvares med kategorierne »passer ikke« (0 point), »passer til en vis grad eller nogen gange« (et point) eller »passer godt eller ofte« (to point). Lærerskemaet (TRF) er et næsten identisk spørgeskema baseret på klasselærerens observationer af skolebarnet. Scoren på de enkelte spørgsmål sammentælles til en total problemscore, men da to items ikke tælles med, går denne fra 0 point til 232 point. Det danske populationsmateriale, der er anvendt til standardisering, udgøres af 779 børn (4-16 år). Ved stratificering er det opdelt i fire grupper: drenge og piger, henholdsvis 4-10 år og 11-16 år. Gennemsnits råscoren på CBCL, som sekundært er omregnet til en T-score på 50, var i de fire grupper følgende: små drenge 20,2, store drenge 19,0, små piger 15,8 og store piger 16,4 [13].

Children-Global Assessment Scale (C-GAS) er en valideret klinisk scoring af barnets funktionsniveau [18]. Barnets globale psykosociale funktion scores på en skala på 0-100 med 0 som dårligste, »fuldstændig ude af stand til at klare sig selv« og 100, som er »optimal funktion på alle områder«. En score på ≤70 regnes for klinisk belastning. C-GAS-scoring er foretaget ved afslutning af undersøgelse og diagnostik (udgangspunkt). De to hovedforfattere har sammen trænet i anvendelsen af denne skala og foretaget samtlige scoringer.

Praktiske omstændigheder hvorunder dataindsamlingen foregår

Data ved udgangspunktet blev fortløbende indsamlet som led i den kliniske praksis. Familierne blev årligt og første gang i maj 2001 kontaktet ved udsendelse af spørgeskemaer. Forældrene modtog årligt både CBCL- og TRF-skemaet med anmodning om at aflevere TRF-skemaet til barnets klasselærer. Der var vedlagt frankerede svarkuverter til begge skemaer.

Etiske forhold

Spørgeskemaopfølgningsdesignet har været forelagt Den Videnskabsetiske Komité for Århus Amt, som ikke fandt, at studiet skulle gennem egentlig sagsbehandling. Familierne har løbende haft tilbud om at kunne kontakte undersøgelsens forfattere og de respektive fagpersoner, som forestod den indledende undersøgelse.

Statistik

Data er behandlet i statistikprogrammet SPSS med anvendelse af deskriptive analyser, T-test for ens middelværdier og χ2-test. Total problemscorer i subgrupperne betragtes som normalfordelte.

Resultater

Af de 110 inkluderede børn blev fem ekskluderet på grund af manglende forældrerapporterede data ved udgangspunktet. Herefter udgjorde kohorten 105 børn (86 drenge og 19 piger, medianalder = 8,8 år). Antallet af respondenter på den årlige spørgeskemaudsendelse har varieret i opfølgningsperioden og var ved første, andet og tredje års opfølgning henholdsvis 70, 69 og 64. De gennemsnitlige CBCL total problemscorer (T-scorer) ved opfølgningerne er gengivet i Tabel 1 sammen med de tilsvarende lærerrapporterede TRF-total problemscorer (T-scorer). Tabellen viser samtidig procentandelen, der scores inden for normalområdet, defineret som mindre end eller lig med en standardafvigelse over gennemsnittet i baggrundspopulationen (T-score ≤60). Der blev fundet en signifikant reduktion i såvel forældrerapporteret som lærerrapporteret symptombelastning fra udgangspunktet til tre årsopfølgningen. Ved udgangspunktet var der kun TRF fra det ene deltagende center, udgørende 47 patienter eller 45% af kohorten. I forhold til baggrundspopulationen, hvor gennemsnits T-score er 50, afviger kohorten på alle opfølgningstidspunkter signifikant fra normen. Raten af børn, som scores inden for normalområdet af forældrene, stiger fra 34% ved udgangspunktet til 47% ved treårsopfølgningen (χ2 = 2,65; frihedsgrader (df) = 1; p = 0,10).

Kohorten fordelte sig på tre diagnostiske hovedgrupper: intet psykiatrisk syndrom (primært børn med specifikke og generelle indlæringsvanskeligheder), neuropsykiatriske forstyrrelser (opmærksomhedsforstyrrelser (attention deficit and hyperkinetic disorder (ADHD)), autismespektrumforstyrrelser og tics) samt adfærds- og emotionelle forstyrrelser (adfærdsforstyrrelser, tilknytningsforstyrrelser, tvangsforstyrrelser og angst), som det fremgår af Tabel 2. Tabellen viser de gennemsnitlige værdier af den globale psykosociale funktion (C-GAS) bedømt af det undersøgende team ved udgangspunktet, dels for hele kohorten (n = 105), dels i gruppen, som deltog i opfølgningen tre år senere (n = 64). Børnene uden nogen psykiatrisk diagnose, primært dårligt begavede børn og børn med specifikke indlæringsvanskeligheder, var mindst psykosocialt belastede, mens gruppen med neuropsykiatriske forstyrrelser var de dårligst fungerende. C-GAS-score er negativt korreleret til total problemscore (Pearsons korrelationskoefficient = -0,32; p < 0,001). Der findes ingen statistisk forskel på opfølgningsdeltagere (respondere) og hele kohorten, hvad angår diagnostisk fordeling, socialgruppefordeling, køns- eller aldersfordeling.

Gennemsnits CBCL total problem-T-scorer blev reduceret fra udgangspunktet (t0) til tredje årsopfølgningen (t3) i alle diagnostiske hovedgrupper (Tabel 3). Børn med adfærdsforstyrrelser og emotionelle forstyrrelser scoredes ved treårsopfølgningen lavest med gennemsnits CBCL total problem-T-score (t3) på 57,5. I alt 15 ud af 18 responderende (83%) i denne gruppe fik reduceret totalscore, og en større del normaliseredes i opfølgningsperioden (56% med T-score ≤60) i forhold til gruppen med neuropsykiatriske forstyrrelse. I sidstnævnte gruppe var gennemsnits CBCL total problem-T-score ved treårsopfølgningen (t3) = 62,1. Kun 25 af 37 eller 68% fik reduceret total problemscore, og andelen, der scoredes i normalområdet, var uændret fra udgangspunktet til opfølgningen. De samme tendenser blev genfundet ved lærerrating, hvor disse data var til rådighed. Ingen analyser vedrørende varians på tværs af de diagnostiske subgrupper (ANOVA) var signifikante på p < 0,05-niveau.

Ved køns- og aldersstratifikation blev antallet i hvert strata meget lille, og der kunne ikke påvises signifikante forskelle på problemscore fra udgangspunktet til opfølgningen grupperne imellem. Tendensen er, at den ældste gruppe (patienter over ti år ved udgangspunktet) fik reduceret mest i totalscore i opfølgningsperioden, både bedømt af forældrene og lærerne. Dårligst prognose (n.s.) havde de yngste drenge, der fortrinsvis var diagnosticeret med neuropsykiatriske forstyrrelser med mindst reduktion i belastning.

Diskussion

Prospektive studier baseret på indsamlede kliniske data til belysning af ambulante børnepsykiatriske patienters forløb efter undersøgelse, diagnostik og eventuel igangsat behandling har aldrig tidligere været udført i Danmark. Styrken af dette studie er reduceret på grund af et stort frafald i opfølgningsperioden og relativt små effektstørrelser, men resultaterne supplerer resultaterne i de tilgængelige registerbaserede opfølgningsstudier.

CBCL-materialet har med stor succes været anvendt til outcome-evaluering i opfølgningsstudier [1, 2, 13, 14]. Fordelene ved spørgeskemaerne er multiinformantkonceptet med både forældre- og lærerbesvarelser samt det store tilgængelige referencemateriale i litteraturen. Svagheden er skemaernes negative fokus på problemer og de lave svarprocenter ved opfølgningen, hvor en direkte kontakt med patienten og familien, eventuelt i form af et varslet hjemmebesøg, sandsynligvis ville have mindsket frafaldet.

Patientmaterialet i studiet er karakteristisk for børnepsykiatriske ambulatorier med en medianalder på 8-9 år og en stor overvægt af drenge. Undersøgelsesprogrammerne ved udgangspunktet i de to ambulatorier var ikke standardiserede, og diagnoserne blev stillet efter almindelig klinisk praksis. Det giver en usikkerhed på diagnosernes validitet. Validiteten af diagnoserne er som i Landspatientregistret (LPR) og det Psykiatriske Centralregister. Af de 105 deltagende børn havde 18 intet psykiatrisk syndrom (ingen akse 1-diagnose), men udelukkende specifikke eller generelle indlæringsvanskeligheder, hvilket er typisk for et ambulant patientmateriale. Diagnoserne opmærksomhedsforstyrrelse (ADHD) og adfærdsforstyrrelse er de dominerende i den yngste del af kohorten. Inddelingen i de diagnostiske hovedgrupper neuropsykiatriske forstyrrelser samt adfærdsforstyrrelser og emotionelle forstyrrelser afspejler en tendens, som efterhånden er gængs i børne- og ungdomspsykiatrisk klinik. Der er vægtig dokumentation for, at ADHD og autismespektrumforstyrrelser er genetisk betingede hjerneorganiske handikap i modsætning til sociale relationsforstyrrelser, adfærdsforstyrrelser, obsessiv-kompulsiv tilstand (OCD) og angst, hvor miljøet i højere grad tillægges en ætiologisk betydning i samspil med generne.

Trods en faldende tendens i gennemsnitlig total problemscore i opfølgningsperioden både bedømt af forældre og lærere (Tabel 1), var den kliniske kohorte ved alle målinger signifikant afvigende fra baggrundspopulationen, som udtryk for at det er en svært belastet gruppe børn, der henvises og behandles i børne- og ungdomspsykiatrien. Forløbsstudier foretaget i normale populationer har dokumenteret, at drenge normalt falder lidt i score, mens pigerne øger problemscoren i teenagealderen. Denne tendens er delvist korrigeret ved anvendelsen af T-scorer, som relateres til baggrundspopulationen i køns- og aldersspecifikke stratae. Således kan den skæve kønsratio ikke alene forklare faldet i rapporteret problemadfærd. Ser man på materialet stratificeret på diagnosegrupper (Tabel 3), afsløres forskellige tendenser i forløbene fra udgangspunktet til treårsopfølgningen afhængigt af diagnosegruppe. Der var på undersøgelsestidspunktet (t0 ) forskel på symptombelastningen afhængigt af den psykiatriske diagnose (ICD-10). Børnene uden et psykiatrisk syndrom havde forventeligt den laveste problemscore og den højeste funktionsscore (C-GAS), mens de adfærdsforstyrrede og emotionelt forstyrrede børn var mest problembelastede ved udgangspunktet. Det sidste var forventet, da disse børn ofte har både eksternaliserende og internaliserende symptomer. Materialet og effektstørrelserne er desværre for små til, at man kan påvise signifikante forskelle i reduktion af belastning (ANOVA). Reduktionen i totalscore og den større normaliseringsrate i gruppen af adfærdsforstyrrede og emotionelt forstyrrede børn tolkes som et resultat af behandling med adfærdsterapi og kognitive terapiformer og medicin samt mere spontan remission af eksempelvis angst og OCD-symptomer. I modsætning hertil har børn med neuropsykiatriske tilstande i reglen kroniske forløb, hvor hverken behandling eller spontan remission forventes at påvirke langtidsprognosen væsentligt. En undtagelse herfra ses ved ADHD, hvor grupper af medicinsk velbehandlede patienter i andre studier har signifikant reduktion af CBCL total problemscore [2]. Behandlingen af ADHD, som udgør den største specifikke diagnose i dette studie (n = 32), har trods problemreduktion i gruppen ikke været effektiv nok til at slå igennem på resultatet.

Der er behov for større opfølgningsstudier med kliniske børnepsykiatriske materialer i kombination med mere systematisk og struktureret diagnostik (anvendelse af psykopatologiske interview) for at opnå bedre analyser af prognosen af børnepsykiatriske lidelser. Oprettelsen af den landsdækkende kliniske database BupBasen [19] i 2004 vil med anvendelse af mere sygdomsspecifikke outcome- mål, som er under implementering i øjeblikket, åbne mulighed for at evaluere patientforløb og sammenligne behandlingsresultater i forskellige diagnosegrupper på tværs af landets afdelinger. En evaluering af langtidsprognosen efter afslutning af behandlingsforløbene kræver dog fortsat en ekstra indsats af fagpersoner og velvilje hos patienter og pårørende til at besvare spørgeskemaer eller interview.

Konklusion

Prognosen for børn, der har psykiatriske forstyrrelser og er henvist og undersøgt i børnepsykiatrisk regi, varierer med diagnosen. Hovedparten af de henviste børn scorer fortsat afvigende fra baggrundspopulationen tre år efter henvisning til et børnepsykiatrisk ambulatorium, som udtryk for at det er en tungt belastet børnegruppe, der har brug for en massiv indsats for at sikre bedst mulig udvikling. I dette treårsopfølgningsstudie blev der fundet dårligst prognose for børn med neuropsykiatriske forstyrrelser (ADHD og autismespektrumforstyrrelser) og en højere grad af normalisering hos gruppen af børn med adfærds- og emotionelle forstyrrelser. Studiepopulationens sammensætning og den store variation i behandlingstilbud og foranstaltninger i opfølgningsperioden gør materialet egnet som referencegruppe (treatment as usual-gruppe) i fremtidige behandlingsstudier.


Summary

3-year follow-up of a child psychiatric cohort

Ugeskr Læger 2007;169(14):1317-1321

Introduction: Publications on prospective follow-up studies of Danish child psychiatric cohorts are scarce. Such studies are necessary in order to be able to inform patients about the natural course and prognosis of child psychiatric disorders.

Materials and methods: Baseline data is obtained from 110 children, ie. 91 boys and 19 girls (4-13 years old) assessed in 2 child and adolescent psychiatric outpatient clinics in Denmark. As part of the baseline assessment, the children were clinically diagnosed and covered most of the child psychopathological spectrum. Baseline information included demographic data, assessment of symptom-load by means of The Child Behavior Checklist (CBCL) and a global function score. The children in the cohort were assessed once a year using the CBCL and the Teachers Report Form (TRF).

Results: The symptom-load is declining, although still high during the follow-up period. The decline in total behaviour problem scores was greater in the group of children diagnosed with emotional and behavioural disorders compared to those with neuropsychiatric disorders (Attention deficits and Autism spectrum disor

Summary

Summary 3-year follow-up of a child psychiatric cohort Ugeskr L&aelig;ger 2007;169(14):1317-1321 Introduction: Publications on prospective follow-up studies of Danish child psychiatric cohorts are scarce. Such studies are necessary in order to be able to inform patients about the natural course and prognosis of child psychiatric disorders. Materials and methods: Baseline data is obtained from 110 children, ie. 91 boys and 19 girls (4-13 years old) assessed in 2 child and adolescent psychiatric outpatient clinics in Denmark. As part of the baseline assessment, the children were clinically diagnosed and covered most of the child psychopathological spectrum. Baseline information included demographic data, assessment of symptom-load by means of The Child Behavior Checklist (CBCL) and a global function score. The children in the cohort were assessed once a year using the CBCL and the Teachers Report Form (TRF). Results: The symptom-load is declining, although still high during the follow-up period. The decline in total behaviour problem scores was greater in the group of children diagnosed with emotional and behavioural disorders compared to those with neuropsychiatric disorders (Attention deficits and Autism spectrum disorders). Conclusion: In spite of the relatively small sample size, this follow-up study identifies important issues of prognostic value in this clinical child psychiatric outpatient population. The material may be useful as a `treatment as usual' group in future clinical outcome studies.

Referencer

  1. Hofstra MB, van der EJ, Verhulst FC. Continuity and change of psychopathology from childhood into adulthood: a 14-year follow-up study. J Am Acad Child Adolesc Psychiatry 2000;39:850-8.
  2. Biederman J, Monuteaux MC, Greene RW et al. Long-term stability of the Child Behavior Checklist in a clinical sample of youth with attention deficit hyperactivity disorder. J Clin Child Psychol 2001;30:492-502.
  3. Larsen FW. A 30-year follow-up study of a child psychiatric clientele. Acta Psychiatr Scand 1991;84:65-71.
  4. Larsen FW, Dahl V, Hallum E. A 30-year follow-up study of a child psychiatric clientele. Acta Psychiatr Scand 1990;81:39-45.
  5. Thomsen PH. Langtidsforløbet blandt børnepsykiatriske patienter. Ugeskr Læger 1998;160:2863-6.
  6. Dalsgaard S, Mortensen PB, Frydenberg M et al. Conduct problems, gender and adult psychiatric outcome of children with attention-deficit hyperactivity disorder. Br J Psychiatry 2002;181:416-21.
  7. Larsen FW, Mouridsen SE. The outcome in children with childhood autism and Asperger syndrome originally diagnosed as psychotic. Eur Child Adolesc Psychiatry 1997;6:181-90.
  8. Thomsen PH. Obsessive-compulsive disorder in children and adolescents. Eur Child Adolesc Psychiatry 1995;4:112-22.
  9. Achenbach TM. Manual for the Child Behavior Checklist/4-18 and 1991 Profile. Burlington: University of Vermont, 1993.
  10. Achenbach TM. Manual for the Teacher's Report Form and 1991 profile. Burlington: University of Vermont, 1993.
  11. Achenbach TM. Manual for the Youth Self-Report and 1991 Profile. Burlington: University of Vermont, 1993.
  12. Bilenberg N. The Child Behavior Checklist (CBCL) and related material: standardization and validation in Danish population based and clinically based samples. Acta Psychiatr Scand Suppl 1999;398:2-52.
  13. Verhulst FC, van der Ende J. Six-year developmental course of internalizing and externalizing problem behaviors. J Am Acad Child Adolesc Psychiatry 1992;31:924-31.
  14. Verhulst FC, van der Ende J. The eight-year stability of problem behavior in an epidemiologic sample. Pediatr Res 1995;38:612-7.
  15. Rey JM, Morris-Yates A. Adolescent depression and the Child Behavior Checklist. J Am Acad Child Adolesc Psychiatry 1991;30:423-7.
  16. Achenbach TM, Dumenci L. Advances in empirically based assessment: revised cross-informant syndromes and new DSM-oriented scales for the CBCL, YSR, and TRF: comment on Lengua, Sadowksi, Friedrich, and Fischer (2001). J Consult Clin Psychol 2001;69:699-702.
  17. World Health Organization. ICD-10 Classification of Mental and Behavioural Disorders. Cambridge: Cambridge University Press, 1996.
  18. Shaffer D, Gould MS, Brasic J et al. A children's global assessment scale (CGAS). Arch Gen Psychiatry 1983;40:1228-31.
  19. Bilenberg N, Isager T, Buchhave J. BupBase - en klinisk kvalitetsdatabase i børne- og ungdomspsykiatri. Ugeskr Læger 2001;163:6002-4.