Pourquoi le culte des essais randomisés constitue une régression épistémologique

Épisode 37

Par Alain BONNAFOUS, professeur honoraire de sciences économiques à l'Université de Lyon, ancien directeur de l’Institut des Sciences de l’Homme (1997-2007), chercheur au Laboratoire d'Économie des Transports (LAET, UMR 5593), Jules Dupuit Award en 2010, auteur notamment Le siècle des ténèbres de l’économie (Economica, 1989).

La controverse sur la thérapie de l’IHU de Marseille justifiait, dès son début, que l’on s’y intéresse tant il était clair qu’elle concernait des enjeux majeurs, qu’ils soient sanitaires, économiques, politiques ou même judiciaires. C’est pourtant un enjeu de second plan qui m’a conduit à suivre d’aussi près que possible ces péripéties en lisant quelques-unes des publications scientifiques qui les jalonnent (et accessoirement leurs comptes rendus médiatiques) : cette controverse m’est apparue en effet illustrative d’un duel récurrent entre l’académiquement correct et la dynamique scientifique. Un duel que nous avons abordé dans Académiquement correct avec une douzaine de collègues universitaires venant des disciplines les plus diverses, de l’astronomie à la linguistique ou de la sociologie à la physique des particules.

Académiquement correct ou académiquement rigide ?

Selon un regard extérieur à la recherche scientifique, ce duel ne devrait pas exister. Pourtant la question se pose de savoir si ce qu’impose à un moment donné l’académie (au sens d’une entité réputée avoir une légitimité scientifique) est de nature à censurer un énoncé pertinent et novateur, en somme à entraver une innovation scientifique.

Faisons un détour pour évoquer l’exemple le plus marquant de cette censure dans l’histoire contemporaine de la connaissance scientifique. Il concerne la physique et se situe à l’aube du XXème siècle. à un moment donc où l’académiquement correct était encore surplombé par la conception positiviste de la connaissance scientifique. L’objet de la science étant pour le positivisme l’étude des faits et des relations avec les faits, Auguste Comte avait récusé par avance l’usage des modèles (au sens d’une représentation simplifiée de ce que l’on croit savoir de la réalité). Longtemps après sa mort (en 1857) ses disciples se figeront dans cette exclusion. Mais au tout début du XXème siècle les avancées impressionnantes de la physique corpusculaire seront celles des modèles de l’atome, tels celui de Thomson (1904), celui de Rutherford (1911) ou encore celui de Bohr (1913) qui devait être expérimentalement confirmé l’année suivante par Franck et Herz. Le positivisme n’a pas résisté à cette explosion d’une forme de connaissance qu’il récusait et a été balayé par ce que Gaston Bachelard a appelé un « nouvel esprit scientifique » ; caractérisé par un dynamisme débridé il a été enrichi et contrôlé par le critère de scientificité proposé par Karl Popper : en suggérant de remplacer la stratégie de la confirmation du positivisme logique par une stratégie de la réfutation, il a établi le critère de démarcation selon lequel une proposition ne sera reconnue comme scientifique que s’il est possible d’établir qu’elle est fausse en démontrant que l’une au moins de ses conséquences ne résiste pas à la confrontation empirique. En somme, un énoncé scientifique est un énoncé réfutable et il est réputé vrai aussi longtemps qu’il résiste aux épreuves de réfutation. La vérité ainsi établie est évidemment provisoire et ce caractère provisoire rejoint la conception de Bachelard rappelée ici par Jean Ullmo (La pensée scientifique moderne, Paris, Flammarion, 1969) : « au réel variable des étapes successives de la science correspond une vérité en devenir ; ces approximations successives de la vérité de nos représentations d’un phénomène sont de l’essence de la démarche scientifique ».

Si j’ai fait ce détour c’est tout simplement parce que les premières péripéties des controverses sur la thérapie de l’IHU de Marseille m’ont spontanément fait penser à cet épilogue du scientisme : la disqualification des études observationnelles ressemble beaucoup à la disqualification des modèles 120 ans plus tôt ; la soumission de la pensée scientifique médicale à une « médecine basée sur des preuves » (Evidence Based Medicine) ressemble beaucoup à la soumission, révolue depuis un siècle, au Catéchisme Positiviste d’Auguste Comte.

Qui veut la peau de l’hydroxychloroquine ?

Dans le cas qui nous occupe, on a en effet beaucoup lu et entendu qu’il n’y aurait qu’une forme acceptable de preuve de l’efficacité d’une thérapie qui serait celle des essais randomisés. Cela correspond à l’acronyme anglais de RCT (Randomised Controled Trial) qui désigne un procédé stimulus-réponse dans lequel on sélectionne de manière aléatoire les patients traités et les patients ne recevant qu’un placebo. S’y ajoutent quelques précautions comme la pratique du double aveugle, soignant et patient ne sachant pas s’il s’agit du traitement ou du placebo, ou encore un nombre suffisant d’observations d’autant plus nécessaire au pouvoir séparateur de l’essai clinique que la thérapie testée a des effets limités. S’y ajoute, surtout, la précaution la plus décisive pour la fiabilité de l’exercice qui correspond à l’adjectif « contrôlé » : il signifie que les facteurs présumés jouer un rôle sur le processus pathologique ont le même poids dans les deux échantillons, par exemple l’âge des patients ou les proportions de comorbidités.

Le débat sur l’hydroxychloroquine a très tôt illustré cette capacité de censure par la convocation de règles réputées être des standards de la production scientifique. Un des premiers exemples, qui n’est en aucun cas un jugement sur la personne, en a été donné par Françoise Barré-Sinoussi : Il n’y a pas de meilleure garantie académique qu’une biologiste et virologue, lauréate du prix Nobel de médecine 2008 pour avoir participé à la découverte du VIH en 1983. Elle venait d’être nommée à la tête du « Care » (Comité analyse recherche et expertise), tout juste créé en complément du « Conseil scientifique COVID-19 », lorsqu’elle déclarait au Monde fin mars 2020 : « Je réagis aussi à la vue, ces dernières heures, des files d’attente devant l’Institut Hospitalo-Universitaire de Marseille pour bénéficier d’un traitement, l’hydroxychloroquine, dont l’efficacité n’a pas été prouvée de façon rigoureuse. Certains peuvent être contaminés et risquent de diffuser le virus. C’est n’importe quoi ».

A la question de savoir ce qu’elle pensait du traitement, elle ajoutait avec prudence : « Pour l’instant, pas grand-chose, j’attends les résultats de l’essai Discovery, conçu dans le cadre du consortium Reacting, qui vient de démarrer et qui portera sur 3 200 personnes, dont 800 en France ». Elle n’est évidemment en rien responsable de l’épilogue calamiteux de Discovery et on ne saurait lui reprocher d’avoir placé sa confiance dans ce qui devait être une mésaventure scientifique.

Cependant, quand on a passé une bonne partie de sa vie professionnelle à faire un peu de recherche dans le domaine des sciences sociales, on est évidemment troublé par de telles assertions : on a cru produire quelques centaines de publications scientifiques et on découvre tout de go qu’il n’y a rien de scientifique là-dedans dans la mesure où aucun des énoncés que l’on a pu commettre ne repose sur une expérimentation contrôlée randomisée ! A peu près tous, cependant, reposent sur des observations statistiques, le cas échéant traitées, par exemple, par ce que l’on appelle l’économétrie (A. Bonnafous, La logique de l’investigation économétrique, Paris, Dunod, 1973).

L’économiste est désappointé et pourtant…

Le principal étonnement de l’économiste tient à ce qu’une telle affirmation disqualifie toutes les relations causales qui semblent bien établies dans sa discipline. En effet, aucune d’elles n’a fait l’objet d’une expérimentation contrôlée. Par exemple pour vérifier que la consommation dépend du revenu, serait-il venu à l’idée d’un gouvernement de relever ou d’abaisser les revenus des ménages aux seules fins de savoir ce qu’en sont les conséquences sur leur consommation ? L’économie expérimentale existe certes, mais elle est limitée à des thèmes très étroits tels les comportements face au risque : les sujets de l’expérience se voient par exemple proposer des jeux sur lesquels ils engagent réellement une somme d’argent avec des conditions de gains ou de pertes que fait varier l’expérimentateur. Mais au total, tout ce que l’on croit savoir en économie ne résulte pas de l’économie expérimentale mais seulement de messages qui nous ont été envoyés par des observations statistiques.

On sait même assez bien mettre en équation ces messages et établir des modèles économétriques qui permettent de simuler des avenirs possibles selon diverses mesures que l’on peut ainsi tester. En économie des transports par exemple, on est en mesure de prévoir les trafics liés à de nouveaux équipements, métro, autoroutes, TGV… avec des précisions qui dépassent de beaucoup ce que pourraient apporter des prévisions « au doigt mouillé » et des résultats qui ont même le mérite d’être parfois contre-intuitifs.

La crainte d’avoir consacré une vie de chercheur à faire de « la mauvaise science » selon l’expression de Dominique Costagliola, ou d’avoir beaucoup « asséné des vérités sans preuve » selon l’expression de Karine Lacombe, m’a conduit tout naturellement à vérifier si les sciences médicales d’aujourd’hui reposaient bien sur une conception de la connaissance qui disqualifiait l’idée même de sciences sociales (disqualification que pratiquait déjà, il y a plus d’un siècle, le positivisme).

Une caricature des principes de l’Evidence Based Medicine

Quelques lectures sur le débat suscité par les injonctions de l’Evidence Based Medicine m’ont heureusement rassuré. A commencer par l’article séminal de Daniel Sackett en 1997, titré « Evidence-based medicine » et systématiquement cité en référence à l’EBM dans les revues scientifiques (plus de 10 000 citations). Il montre que, comme souvent, quelques disciples de cette méthodologie de la preuve en ont fait une lecture étroite. L’auteur écrit en effet : “Good doctors use both individual clinical expertise and the best available external evidence, and neither alone is enough” (« Les bons médecins utilisent aussi bien leur expertise clinique que les meilleures preuves externes et un seul des deux éléments n’est jamais suffisant »). Notons au passage qu’il situe explicitement les sources de l’EBM en France au milieu du XIXème siècle, c’est à dire au moment du positivisme triomphant.

Nombre d’autres publications haut de gamme (au sens de massivement citées) donnent une vision de l’épistémologie dominante de la médecine qui m’a rassuré. Un an avant l’article précité, Nick Black en signait un dans le British Medical Journal qui soulignait déjà l’appauvrissement de connaissance résultant du rejet par les bailleurs de fond de la recherche et par les éditeurs de revue de tout ce qui n’était pas du « gold standard » c’est-à-dire des RCT. En 2000, dans le New England Journal of Medicine, Kjell Benson et Arthur Hartz ont exploité 136 rapports portant sur 19 traitements et ils n’ont trouvé que dans deux cas (sur 19) une différence significative entre les résultats des deux méthodes. La même année, toujours dans le New England Journal of Medicine, John Concato, Nirav Shah et Ralph Horwitz ont été plus précis dans la comparaison des pouvoirs séparateurs des méthodes observationnelles et des RCT en analysant 99 rapports portant sur 5 traitements cliniques qui n’ont révélé aucune différence significative entre les deux approches mais ont enregistré, au total, une dispersion de résultats bien moindre dans les études observationnelles (avec des intervalles de confiance parfois du double dans les essais randomisés).

Parmi un nombre impressionnant d’articles qui font un sort à la tyrannie des « preuves » fondées sur les essais randomisés, il en est deux que je dois citer en raison de leur solidité méthodologique. Le premier, de Thomas Frieden, est récent (NEJM, 2017). Il propose une analyse comparée de 11 familles de méthodes d’évaluation d’une thérapie selon la nature des sources statistiques en commençant par les essais randomisés, Gold Standard oblige, mais en continuant par les méta-analyses et les diverses méthodes observationnelles. Pour chaque option méthodologique, il fait une analyse de ses forces et faiblesses et produit quelques exemples de success stories reconnues par la médecine. L’économiste qui a pu pratiquer plusieurs de ces analyses observationnelles sur ses propres objets mais avec des méthodes statistiques proches boit du petit lait car il retrouve là des échos systématiques à sa propre expérience. Il se dit d’ailleurs qu’un tel papier aurait pu être édité par l’American Economic Review plutôt que par le New England Journal of Medicine.

La réconciliation méthodologique est complète avec le dernier article qui mérité d’être évoqué et qui montre que les points de vue de l’éthique et de l’humour font parfois bon ménage. Gordon Smith et Jill Pell ont en effet produit en 2003 un papier percutant dont je crois devoir livrer ma traduction de la conclusion : « Comme pour de nombreuses thérapies, l'efficacité des parachutes n'a pas été soumise à une évaluation rigoureuse en utilisant des essais contrôlés randomisés. Les partisans de la médecine de la preuve ont critiqué l'adoption de thérapies évaluées en utilisant uniquement des données d'observation. Nous pensons qu’il serait utile pour la société que les protagonistes les plus radicaux de la médecine de la preuve organisent et participent à un essai en double aveugle randomisé et contrôlé avec remplacement du parachute par un placebo ». Au-delà de l’humour très britannique des auteurs, on peut apercevoir que la métaphore fait un sort à l’idée qu’il serait toujours éthiquement neutre de remplacer un traitement possiblement utile par un placebo.

On aura compris que l’enjeu de ce qui précède n’est pas seulement de ménager la susceptibilité d’un économiste qui croit avoir fait un peu de recherche. D’abord parce que nous avons vu que des travaux particulièrement convaincants règlent ce problème en n’excommuniant pas, bien au contraire, tout ce qui n’est pas RCT. Ensuite parce que l’enjeu véritable c’est que puissent être pris en compte, pour traiter au mieux les patients, la multitude des résultats observationnels. C’est ce qu’on fait quelques auteurs peu contestables à commencer par ceux de l’IHU de Marseille avec en particulier l’article de cette équipe qui rapporte les résultats obtenus sur 3 737 patients dont 3 119 ont été traités avec le protocole de l’IHU. Mais aussi avec la contribution américaine, en mai 2020, de Harvey Risch (dans l’American Journal of Epidemiology) basée sur une méta-analyse de 5 études dont deux RCT et qui a suscité une audition de l’auteur par le sénat américain. Et avec beaucoup d’autres qui convergent aujourd’hui vers un consensus sur l’efficacité du traitement lorsqu’il est précocement administré, comme le révèle un site qui présente toutes les études, positives ou négatives, qui sont automatiquement recensées. C’est, du reste, largement sur la base des données de ce site qu’un rapport de synthèse a été établi par Alessandro Capucci, Luigi Cavanna et Paola Varese, ce rapport-même qui a conduit le Conseil d’État italien à autoriser le 11 décembre dernier l’hydroxychloroquine dans le traitement du Covid-19 en phase précoce.

Variations sur le « charlatanisme »

La presque totalité de ces travaux étaient connus lorsque le ministre de la Santé Olivier Véran indiquait dans le Figaro-Live du 5 novembre, que « les résultats des études scientifiques sur la Chloroquine n'étaient pas favorables à son utilisation contre le Covid-19 ». Contrairement à notre ministre de la santé, je ne suis pas médecin et j’en déduis que quelque chose a dû m’échapper dans mes lectures. Peut-être n’ai-je pas aperçu que ceux que je prenais pour des scientifiques de haut niveau n’étaient que des charlatans, pour reprendre l’attribut utilisé par un « expert » nommé Martin Blachier à l’encontre de Didier Raoult ou de Christian Perronne. Je reprends donc dans le tableau ci-dessous la seule ressource sérieuse dont j’ai disposé pour apprécier la consistance scientifique des auteurs que j’ai lus et interprétés, c’est-à-dire le nombre de citations de leurs travaux dans l’édition scientifique.