Content area

|
|

Noninferioritets- og ækvivalensforsøg: erfaringer og forbehold - sekundærpublikation

Forfatter(e)
Overlæge Peter C. Gøtzsche H:S Rigshospitalet, Afsnit 7112, Det Nordiske Cochrane Center


Med et noninferioritetsforsøg søger man at bestemme, om en ny intervention ikke er ringere end en kontrolintervention inden for et prædefineret noninferioritetsinterval (-Δ til 0) for det primære effektmål. Et ækvivalensforsøg skal afgøre, om to interventioner har samme effekt inden for et prædefineret interval (-Δ til +Δ). Disse forsøg er kontroversielle og svære at forstå, og som oftest dårligt rapporteret og udført. Alle påstande om effekt af nye behandlinger baseret på disse forsøg skal tolkes med varsomhed, og man bør især tænke på, at Δ ofte er alt for stor til at være klinisk meningsfuld.

Det klassiske parallelgruppeforsøg bygger på en nulhypotese om ingen forskel mellem to interventioner og valg af en klinisk relevant forskel (Δ), som forskerne ikke ønsker at overse. Som regel håber forskerne, at de kan forkaste nulhypotesen og påvise en forskel mellem interventionerne. Et sådant forsøg kaldes ofte et superioritetsforsøg, selv om betegnelsen ikke respekterer symmetrien i nulhypotesen om ingen forskel. I modsætning hertil er et noninferioritetsforsøg af ensidig karakter [1], idet man med det søger at bestemme, om en ny intervention ikke er ringere end en kontrolintervention inden for et prædefineret noninferioritetsinterval (-Δ til 0) for det primære effektmål. Et ækvivalensforsøg skal afgøre, om to interventioner har samme effekt inden for et prædefineret interval (-Δ til +Δ).

Noninferioritets- og ækvivalensforsøg er kontroversielle og svære at forstå. De er især nyttige, når en ubehandlet kontrolgruppe ville være uetisk, f.eks. ved forsøg med nye medicinkombinationer mod aids eller færre lægebesøg for gravide og dermed færre udgifter [2]. De kan også bruges til risk-benefit- vurderinger, når nye behandlinger forventes at være mindre skadelige, eller til sammenligning af forskellige formuleringer eller doser af samme medikament [3]. De bør ikke bruges, når standardbehandlingen ikke er konsekvent bedre end placebo, f.eks. lægemidler mod depression og demens, eller når det er tvivlsomt, om effektens størrelse over for placebo er relevant.

Det er forvirrende, at nul- og alternativhypotesen i sammenligning med det klassiske forsøg er modsatte i noninferioritets- og ækvivalensforsøg. En type I (falsk positiv)-fejl fører til en fejlagtig accept af en ringere behandling, og en type II (falsk negativ)-fejl fører til fejlagtig forkastelse af en sand noninferiør behandling [4]. Desuden kan man i det samme forsøg vurdere noninferioritet eller ækvivalens for nogle effektmål og superioritet for andre, f.eks. for skader. Det er derfor vigtigt, at forskere beskriver nøjagtigt i detaljer, hvad de gjorde, og undgår at bruge udtryk, der kan misforstås, såsom type I-fejl.

Ved planlægning af disse forsøg er valget af Δ afgørende for beregningen af patientantallet [5] og for fortolkningen af resultaterne. I et af eksemplerne i CONSORT-vejledningen [2] svarede Δ til halvdelen af effekten af kontrolbehandlingen over for placebo, til trods for at effektmålet var dødeligheden; i dette tilfælde burde Δ have været særligt lille for at undgå accept af ringere behandlinger. Myndighedernes krav til lægemidler er, at udvælgelsen af noninferioritetsintervallet skal omfatte en klinisk vurdering [3, 6], men i praksis er ræsonnementet næsten altid kun statistisk. Man bør ikke bruge effektstørrelsen (behandlingsforskel divideret med standardafvigelsen) som begrundelse for valg af Δ [3], men effektstørrelsen kan vise, om Δ generelt er rimelig. I en systematisk oversigt over 332 noninferioritets- og ækvivalensforsøg fandt man, at en forskel på 0,5 standardafvigelser, svarende til en odds-ratio på 2,2, i omkring halvdelen af forsøgene blev anset for at være irrelevant, hvilket er en urimeligt stor Δ [7].

Noninferioritets- og ækvivalensforsøg indebærer vigtige og somme tider komplekse overvejelser om statistiske analyser og post hoc-designændringer. Stopperegler for noninferioritetsforsøg kan være asymmetriske og gøre det muligt, at et forsøg fortsætter længere, hvis den nye behandling ser ud til at være bedre. Dette forhindrer imidlertid blinding af datakontrolkomiteer, hvis beslutninger bør være uafhængige af, hvilken behandling der ser ud til at være bedst.

I modsætning til superioritetsforsøg, anses intention to treat- analyser og per protocol -analyser for at være lige vigtige i noninferioritets- og ækvivalensforsøg. Intention to treat -analyser vil generelt være biased i retning af ikke at finde nogen forskel, hvilket sædvanligvis er det, man ønsker, og som favoriseres af mange frafald og manglende data. Retningen af bias i per protocol -analyser er mere uforudsigelig i disse forsøg.

Fleksibiliteten af disse design indebærer en risiko for manipulation. Når læserne ikke har adgang til de originale forsøgsprotokoller, ved de ofte ikke, hvad de skal tro. F.eks. er det primære effektmål (der indgår i Δ) altafgørende for disse forsøg. Imidlertid viste en sammenligning af fortrinsvis klassiske forsøgsprotokoller med publikationerne, at mindst et af de primære effektmål var ændret, introduceret eller udeladt i 62% af forsøgene [8]. Δ kan også forstørres post hoc for at skjule, at den nye behandling var ringere, lige som Δ og beregning af patientantallet somme tider er blevet ændret i klassiske forsøg for at skjule, at patientantallet var for lille.

Også for noninferioritetsforsøg bør forskerne bruge et tosidet 95% sikkerhedsinterval [3]. Dette giver mulighed for at vurdere superioritet, hvis den observerede forskel er i modsat retning af det forventede. Det er forkert at gøre det modsatte og hævde, at et superioritetsforsøg viser noninferioritet eller ækvivalens, medmindre det klart bygger på et prædefineret interval. Denne manipulation forekommer imidlertid [9], og et godt fingerpeg om dette foreligger, hvis beregningen af patientantallet i artiklen ikke indeholder en noninferioritets- eller ækvivalensmargin.

Noninferioritets- og ækvivalensforsøg er dårligt rapporteret og udført. Hvad der især forringer troværdigheden er, at man i en tredjedel af de rapporter, hvori man har beregnet patientantallet, udelod nødvendige detaljer for at kunne reproducere beregningen; at man i en tredjedel af rapporterne beskrev et sikkerhedsinterval, der ikke svarede til den type I-fejlsrisiko, der blev brugt i beregningen af patientantallet; og at man i halvdelen af de rapporter, hvori man brugte statistiske test, undlod at tage Δ med i betragtning (hvilket derfor svarer til test for superioritet) [9]. Kun i 20% af de 162 undersøgte forsøg efterkom man de fire basale krav: defineret noninferioritets- eller ækvivalensinterval; beregning af patientantal, der tager intervallet i betragtning [5]; både intention to treat - og per-protocol -analyser; og sikkerhedsinterval for resultatet. Hvis begrundel sen for Δ tages med, hvilket myndighederne kræver [3, 6], levede kun 4% af forsøgene op til kravene.

Alle påstande om effekt af nye behandlinger baseret på disse forsøg skal tolkes med varsomhed. Hvis materialet er stort, eller Δ er stor, eller hvis variationen i målingerne er mindre end forventet, kan der opstå den forvirrende situation, at den nye behandling er signifikant ringere end kontrollen, til trods for at resultatet enten er formelt inkonklusivt (dvs. den nedre sikkerhedsgrænse krydser linjen for noninferioritet) eller endda viser noninferioritet (dvs. sikkerhedsintervallet ligger inden for noninferioritetsintervallet) (Figur 1 ). I disse situationer kunne klinikerne lægge vægt på den signifikante forskel og undlade at bruge den nye behandling, idet Δ ofte er langt større, end hvad klinikere og myndigheder ville betragte som en minimal, relevant klinisk forskel [7].

Klinikerne skal også føle sig overbevist om, at den nye behandling ville have haft effekt, hvis den var blevet sammenlignet med placebo. Det er et myndighedskrav, at der fremvises en klar superioritet i forhold til en indirekte placebo [3]. Superioriteten beregnes ud fra forskellen mellem den nye behandling og standardbehandlingen og forskellen mellem standardbehandlingen og placebo [1]. Der bør benyttes en systematisk oversigt over de relevante placebokontrollerede forsøg, men det er ikke klart, om punktestimatet eller den nedre sikkerhedsgrænse bør benyttes, om estimatet skal henvise til alle forsøg eller kun til nyere forsøg, og om der skal tages hensyn til eventuel publikationsbias. Antagelsen om konstans for faktorer, hvormed man kan forudsige resultatet, sammenlignet med de historiske placebokontrollerede forsøg, som udviser superioritet, vil uundgåeligt være diskutabel og er ofte et stort problem [1, 3].

Forbedrede diagnostiske metoder kan føre til ændringer i patientpopulationerne, tillægsbehandlinger ændres, inklusionskriterier for patienter, tidspunkt for vurderingen og doseringer kan ændres, effektmålene kan ændres, f.eks. fra død til surrogatmarkører ved aids pga. bedre behandlinger, og sygdommens sværhedsgrad kan ændre sig, f.eks. ved infektionssygdomme.

Konklusioner i medicinforsøg bruges i markedsføringen, men de er ofte misvisende [10]. Dette problem kan være endnu større for noninferioritetsforsøg. Den korrekte konklusion kan ikke være, at der er påvist noninferioritet, da dette kun kan påvises i et superioritetsforsøg [3]. Ved et noninferioritetsforsøg kan man kun påvise, at den nye intervention ikke er mere end en præspecificeret andel ringere end den, den sammenlignes med [3]. Imidlertid er firmaerne næppe villige til at skrive i en annonce: »Vort produkt var ikke ringere end standardproduktet med hensyn til vor prædefinerede mindste, klinisk betydningsfulde forskel«.

Klinikere bør især tænke på, at noninferioritetsintervaller ofte er alt for store til at være klinisk meningsfulde [7], og at en påstået ækvivalens også kan være misvisende, hvis et forsøg ikke har været udført med tilstrækkelig høj standard. De bør også være skeptiske over for forsøg, der ikke opfylder de fem krav nævnt ovenfor, hvilket næsten ingen forsøg gør [7].


Peter C. Gøtzsche , Det Nordiske Cochrane Center, H:S Rigshospitalet, DK-2100 København Ø. E-mail: pcg@cochrane.dk

Antaget: 27. marts 2006

Interessekonflikter: Ingen angivet

This article is based on an article first reported in JAMA 2006;295:1171-3.



Reference: 
Ugeskr Læger 2006;168(37):3137-3139
Blad nummer: 
Sidetal: 
3137-3139
  1. D'Agostino RB Sr, Massaro JM, Sullivan LM. Non-inferiority trials: design concepts and issues -- the encounters of academic consultants in statistics. Stat Med 2003;22:169-86.
  2. Piaggio G, Elbourne DR, Altman DG et al, CONSORT Group. Reporting of noninferiority and equivalence randomized trials: an extension of the CONSORT statement. JAMA 2006;295:1152-60.
  3. Committee for Medicinal Products for Human Use. Guideline on the Choice of the Non-Inferiority Margin. London: European Medicines Agency, Preauthorisation Evaluation of Medicines for Human Use, 2005. www.emea.eu.int/pdfs/human/ewp/215899en.pdf. /jan 2006.
  4. Millar JA, Burke V. Relationship between sample size and the definition of equivalence in non-inferiority drug studies. J Clin Pharm Ther 2002;27: 329-33.
  5. Jones B, Jarvis P, Lewis JA et al. Trials to assess equivalence: the importance of rigorous methods. BMJ 1996;313:36-9.
  6. International Conference on Harmonisation. E9 Statistical principles for clinical trials. Federal Register. 1998;63:49583-49598. www.fda.gov/cber/gdlns/ichclinical.pdf /jan 2006.
  7. Lange S, Freitag G. Choice of delta: requirements and reality - results of a systematic review. Biomed J 2005;47:12-27.
  8. Chan A-W, Hróbjartsson A, Haahr MT et al. Empirical evidence for selective reporting of outcomes in randomized trials: comparison of protocols to published articles. JAMA 2004;291:2457-65.
  9. Le Henanff A, Giraudeau B, Baron G et al. Quality of reporting of noninferiority and equivalence randomized trials. JAMA 2006;295:1147-51.
  10. Als-Nielsen B, Chen W, Gluud C et al. Association of funding and conclusions in randomized drug trials: a reflection of treatment effect or adverse events? JAMA 2003;290:921-8.

Right side

af Susanne Backman Nøhr | 04/10
3 kommentarer
af Stephan Alpiger | 03/10
1 Kommentar
af Lars Søgaard-Jensen | 03/10
1 Kommentar
af Simon Hjerrild | 03/10
7 kommentarer
af Bodil Jessen | 01/10
5 kommentarer
af Elo Aagaard Rasmussen | 01/10
1 Kommentar
af Jesper Peter Schou | 30/09
2 kommentarer
af Simon Graff | 27/09
2 kommentarer
af Jonathan Dahl | 26/09
1 Kommentar
af Claus Rasmussen | 23/09
1 Kommentar