Lecture critique des essais cliniques

Lecture critique et interprétation des essais cliniques pour la pratique médicale : 

Lecture critique et interprétation des essais cliniques pour la pratique médicale Michel Cucherat Faculté de médecine Laennec - Lyon

But de la lecture critique : 

But de la lecture critique Juger de la validité scientifique (fiabilité du résultat) et de l'intérêt clinique d'un résultat d’essai thérapeutique dans le but de modifier ou ne pas modifier la pratique

Objectif : 

Objectif le bénéfice apporté par ce traitement est-il suffisamment établi et cliniquement pertinent pour justifier son utilisation ?

Trois axes : 

Trois axes la validité interne est-ce que le résultat est exact ? juger de la fiabilité de l’étude la pertinence clinique ce résultat représente-t-il un bénéfice intéressant en pratique et pour quels patients ? la validité externe est-ce que ce résultat est concordant avec les autres connaissances sur le sujet ?

Validité interne : 

Validité interne

Validité interne : 

Validité interne Écarter un faux positif du au hasard réalité statistique Écarter un faux positif du à un biais le résultat est sûr (exempt de biais) « faux positif » : argument en faveur de l’efficacité d’un traitement en réalité sans effet

Réalité statistique des résultats : 

Réalité statistique des résultats Éliminer le rôle du hasard Voir si la différence est statistiquement significative (p  0.05, risque  de faux positif) Écarter un risque d’inflation du risque  par répétition des analyses Inflation du risque alpha absence de critère de jugement principal résultat de sous groupe répétition des mesures au cours du temps analyse intermédiaire non protégée

Multiplicité des critères de jugement - Exemple : 

Multiplicité des critères de jugement - Exemple In women, however (Table 2), a positive effect on BMD was observed at several sites (mostly trabecular bone zones), namely the femoral neck and the Ward’s triangle in the 60–69 y group, and upper and total radius in the 70–79 y group.

Critère principal : 

Critère principal Conclusion que si le critère principal est significatif Critères secondaires : explicatifs

Slide 11: 

The significance level used in the pairwise comparisons between the groups receiving experimental treatment and the group receiving standard treatment was 0.017 on the basis of the Bonferroni correction for multiple comparisons, corresponding to an overall type I error rate of 0.05.

Slide 12: 

Suvimax

Slide 13: 

Lancet 2005; 365: 176–86

Utilisation correcte des sous groupes : 

Utilisation correcte des sous groupes

Différence non significative : 

Résultat non significatif Absence réelle d'effet Manque de puissance ? Différence non significative Impossible de conclure Ne pas conclure à l’absence de différence «L’absence de preuve n’est pas la preuve de l’absence»

Slide 19: 

OBJECTIF : Évaluer l’efficacité d’une injection unique de tobramycine (T) chez des patientes traitées pour une pyélonéphrite aiguë noncompliquée par de la ciprofloxacine (CIP) (500 mg 2 fois par jour per os). RÉSULTATS : Cent dix huit patientes ont été inclues, 60 dans le groupe tobramycine et 58 dans le groupe placebo. E. coli a été isolé de façon prédominante et tous les germes isolés étaient sensibles à la ciprofloxacine et à la tobramycine. Deux échecs sont survenus dans le groupe CIP + T et 4 dans le groupe CIP + P (non significatif) CONCLUSION : L’administration d’une dose de tobramycine n’améliore aucun paramètre clinique dans le traitement des pyélonéphrites aiguës non compliquées traitées par de la ciprofloxacine par voie orale.

Analyses intermédiaires : 

Analyses intermédiaires en cours d’essai, avant que tous les patients prévus aient été recrutés et/ou avant la fin de la période de suivi initialement prévue But arrêter prématurément pour efficacité pour toxicité pour futilité

Ajustement du seuil de signification : 

Ajustement du seuil de signification Méthode de Bonferroni Pour k comparaisons, le seuil ajusté est : Pour k=3, saj = 5% / 3 = 1.67% Quand  est petit, Donc pour conserver un risque alpha global de 5% : Inconvénient : fait l’hypothèse d’une stricte indépendance des variables testées  méthode conservatrice

Cas 1 : 

Cas 1 3 analyses intermédiaires + 1 analyse finale = 4 comparaisons Arrêt prématuré de l’essai

Cas 2 : 

Cas 2 Pas d’arrêt prématuré mais conclusion à l’efficacité

Cas 3 : 

Cas 3 Pas d’arrêt prématuré et résultat non significatif (p=4%>saj)

Cas 4 : 

Cas 4 Résultat non significatif

Tests hiérarchiques : 

Tests hiérarchiques The primary endpoint was analysed with a closed test procedure applying a hierarchical testing process. In the first step, this endpoint was tested in the population of patients not taking low-dose aspirin. If this test was positive the second step was to analyse the endpoint in the overall population. If this test was positive the third and final step was to do the analysis in the population of patients taking low-dose aspirin. Hypotheses were tested at a one-sided 2·5% level of significance, using the logrank test stratified by substudy and low-dose aspirin use, as appropriate Lancet 2004; 364: 665–74

Slide 28: 

For the primary efficacy end point, comparisions were made sequentially by a two-step closed-testing procedure: first, each febuxostat group was compared with the allopurinol group for noninferiority by using binomial confidence intervals for the difference between groups; second, each febuxostat group shown to be noninferior to the allopurinol group was tested for superiority to the allopurinol group by Fisher’s exact test. N Engl J Med 2005;353:2450-61.

Absence de biais : 

Absence de biais S’assurer de l’absence de biais potentiel à toutes les étapes (protocole, réalisation et analyse) le résultat est-il à l’abris du biais de confusion biais de sélection biais de suivi biais d’évaluation biais d’attrition

Validité interne - Biais : 

Validité interne - Biais Biais Le résultat observé peut provenir d’une autre cause que le traitement la méthodologie empêche la survenue de biais Essai biaisé Il existe un défaut dans la méthodologie ou la réalisation qui est susceptible d’entraîner une différence au niveau du critère de jugement, même en l’absence d’effet du traitement Impossible de savoir si un essai est effectivement biaisé déterminer si la méthode utilisée protège contre les biais

Exemple de biais patent : 

Exemple de biais patent 6% 10% Ev. cardiovasculaires Traitement Diabétique 45% Diabétique 15% La différence de fréquence des ev. cardiovasculaires peut provenir de la différence de pronostic et non pas de l’effet traitement Biais potentiel : il y a un défaut dans la méthodologie qui n’empêche pas de sélection les patients dans les groupes

Les différents biais : 

Les différents biais Un biais de sélection est évoqué quand le résultat présenté peut provenir d’une différence dans le pronostic de base des patients Biais de réalisation différence dans le suivi et les soins appliqués aux patients Biais de mesure différence dans l'évaluation du critère de jugement Biais d'attrition différence au niveau des "sorties" d‘analyse

Biais de sélection : 

Biais de sélection Ce qui met à l’abris de ce biais : randomisation le processus de randomisation ne doit pas être prévisible par les investigateurs : randomisation centralisée Comment évaluer l’absence de biais en fin d’essai imprévisibilité de la rando (comparabilité des groupes)

Danger des randomisations prévisibles : 

Danger des randomisations prévisibles CAPP hypertension, captopril vs traitement standard par diurétique ou bêta-bloquants 10 985 patients suivis en moyenne 6,1 ans PA initiale : 166.6/103.6 vs 163.3/101.2 mm Hg, p<0·0001

Validation empirique des marqueurs de qualité : 

Concealment of allocation (inadequate or unclear versus adequate) Schultz 1995 Kjaergard 2000 Jüni 2000 Combined Moher 1998 // 0.66 (0.59 - 0.73) 0.63 (0.45 - 0.88) 0.60 (0.31 - 1.15) 0.79 (0.70 - 0.89) 0.70 (0.62 - 0.80) Jüni et al. BMJ 2001;323:42-46 Validation empirique des marqueurs de qualité ROR

Biais de suivi : 

Biais de suivi Ce qui met à l’abris de ce biais : le double aveugle Comment évaluer l’absence de biais en fin d’essai: Le double aveugle a-t-il été réellement respecté ? Comparer dans les 2 groupes (et particulièrement si essai en ouvert) : violations de protocole, arrêts de traitements, traitements concomitants…

Biais d’évaluation : 

Biais d’évaluation Ce qui met à l’abris de ce biais : le double aveugle en cas de double aveugle impossible (essai ouvert) évaluation à l’aveugle choix de critères objectifs

Biais de mesure - mécanisme : 

Biais de mesure - mécanisme Prophylaxie des TVP en chirurgie Les HBPM sont considérés comme plus efficace que l'HNF Subjectivement les TVP sont plus facilement suspectées devant des signes cliniques avec l'HNF Recours à la phlébographie plus facile Sensibilité Incidence réelle Test positif HBPM 70% 10% 7% HNF 90% 10% 9%

Mise en évidence - Biais de suivi et de mesure : 

méta-analyse en chirurgie générale : HBPM versus HNF Mise en évidence - Biais de suivi et de mesure 1 0,5 en faveur HBPM en faveur HNF Mismetti et al. Br J Surg 01;88:913-30 TVP « phlébographiques » double aveugle ouvert TVP + EP cliniques double aveugle ouvert n = 12 698 n = 5 297

Biais des études en ouvert : 

Biais des études en ouvert Recherche empirique de biais Pour un domaine donné comparaison des résultats des essais en ouvert au essai en double aveugle calcul du rapport des odds ratio (ROR) Jüni P BMJ 2001;323:42-

Slide 42: 

Jüni et al. BMJ 2001;323:42-46

Biais d’attrition : 

Biais d’attrition Situation potentiellement biaisée : Tous les patients randomisés ne sont pas analysés. Ce qui met à l’abris de ce biais : L’analyse en intention de traiter avec remplacement des données manquantes Comment évaluer l’absence de biais en fin d’essai nb malades analysés / nb malades randomisés robustesse du résultat vis à vis de l’hypothèse de biais maximum

Biais d'attrition : 

Biais d'attrition

Biais maximum : 

Biais maximum

Slide 47: 

MMSE

Essai contrôlé randomisé en double aveugle : 

Essai contrôlé randomisé en double aveugle Randomisation Grp T Grp C Critère Critère Groupe comparable Maintient de la comparabilité Biais de sélection Biais de réalisation Biais d'évaluation Biais d'attrition Randomisation Double aveugle ITT

Pertinence clinique : 

Pertinence clinique

Pertinence clinique : 

Pertinence clinique Pertinence de l'objectif de l'essai le critère de jugement est pertinent cliniquement et correspond à l’objectif thérapeutique le résultat est de taille suffisante pour être intéressant en pratique, la balance bénéfice risque est acceptable, le résultat a été obtenu sur des patients représentatifs de ceux vus en pratique, le traitement a été utilisé dans un contexte de soins similaires à celui de la pratique quotidienne.

Question cliniquement pertinente : 

Question cliniquement pertinente Problème médical réel (et non résolu) FSAD (female sexual arousal disorder) créé de toute pièce en 1997 pour créer une utilisation potentielle du sildenafil BMJ 2003;326:45-47

Traitement du groupe contrôle : 

Traitement du groupe contrôle Placebo en l’absence de traitement de référence Traitement de référence si déjà validé contre placebo choix acceptable ? traitement optimal (posologie, administration) ? Placebo + traitement de référence 2 groupes contrôles différents si « traitement de référence » mal validé

Critères de jugement : 

Critères de jugement Pertinence du critère principal d’évaluation Critère clinique Et non pas critère intermédiaire Critères cliniques Critères intermédiaires Critères de substitution succès sur CS  succès critère clinique !

Exemples : 

Exemples fluorure de sodium vs placebo augmentation de la DO p<0.001 fractures vertébrales 163 vs 136 fractures non vertébrales 72 vs 24 p=0.01

Pertinence de l'outil de mesure : 

Pertinence de l'outil de mesure Artériopathie des membres inférieurs Mesure du périmètre de marche augmentation significative de 20 m quel est le service médical rendu au patient ? Quel intérêt de passer de 200m à 220m Fréquence du succès fréquence des patients retrouvant sous traitement un périmètre de marche de 500m

Pertinence des patients : 

Pertinence des patients Voir les critères d’éligibilité Voir la population réellement incluse Généralisation des résultats ? Définition de la maladie Critères actuels Examens couramment disponibles Critères d'exclusion Absence de critères d'exclusion arbitraires : age, sexe Origine géo-ethnique différences génétiques différences environnementales

Pertinence de la prise en charge médicale : 

Pertinence de la prise en charge médicale Circonstances de la "vraie vie" Accès aux soins similaire à celui disponible en dehors d'une étude Durée du suivi pertinente Ni trop long, ni trop court

Taille et précision de l’effet thérapeutique : 

Taille et précision de l’effet thérapeutique Effet représenté avec un IC à 95 % ? Taille de l’effet : pertinence clinique ? Précision de l’effet : la borne péjorative de l’IC représente le plus petit effet du traitement que l’on ne peut raisonnablement exclure  cet effet reste-t-il intéressant cliniquement ?

Zone de bénéfice insuffisant : 

Zone de bénéfice insuffisant

Pertinence de la taille : 

Pertinence de la taille Essai DAIS Effet du fénofibrate sur la progression des plaques d'athérosclérose coronarien chez le diabétique fénofibrate vs placebo 731 hommes et femmes suivi 3 ans Résultat ralentissement de la progression des plaques le traitement a réduit de 0.04 mm la diminution du diamètre moyen sur 3 ans (p=0.028) Quid des événement clinique ? Lancet 2001

Évaluation de la balance bénéfice / risque : 

Évaluation de la balance bénéfice / risque Effets indésirables de gravité supérieure à la maladie ? Fréquence des effets indésirables trop importante par rapport au bénéfice ? Comparaison avec les effets indésirables des traitements existants

Cohérence externe : 

Cohérence externe

Cohérence externe : 

Cohérence externe Concordance avec d’autres essais sur le même domaine : un seul essai ne suffit pas intérêt de la méta-analyse (hétérogénéité ?) Concordance avec les autres connaissances dans le domaine (physiopathologie, épidémiologie, pharmacologie, …)

Slide 64: 

Un essai de grande taille (1000 patients) montre bien l’efficacité du traitement

Slide 66: 

2 essais le premier mené en Europe de l’Est est concluant le second réalisé aux USA est non concluant Conclusion l’effet du traitement n’est pas le même aux USA et en Europe car les contextes de soins sont différents avec un sous traitement en Europe de l’est

Slide 68: 

3 essais ont été réalisés pour évaluer le même traitement ils sont tous négatifs conclusion : ce traitement n’a pas d’efficacité

Slide 70: 

www.spc.univ-lyon1.fr/lecture-critique www.spc.univ-lyon1.fr/user/mcu/polycop