Des preuves minces derrière l'approbation
Presque tous les dispositifs médicaux basés sur l'IA approuvés par la Food and Drug Administration (FDA) américaine n'ont jamais été testés pour montrer qu'ils améliorent la santé des patients. Une étude publiée le 19 août dans PLOS Digital Health a révélé que sur 1 357 dispositifs activés par l'IA approuvés pour les soins aux patients, seulement trois ont été évalués sur des résultats centrés sur le patient tels que la mortalité, les réadmissions à l'hôpital ou la qualité de vie.
Des chercheurs de l'Université de Toronto et de MIT Critical Data ont mené une analyse systématique de la base de données des dispositifs de la FDA et du catalogue de l'ACR Data Science Institute, avec des recherches liées sur ClinicalTrials.gov et PubMed. Ils ont constaté que seulement 34 des 1 357 dispositifs approuvés, environ 2,5 %, étaient liés à des essais cliniques enregistrés. Seulement 12 avaient des résultats publiés, et seulement trois rapportaient des résultats pour les patients.
La radiologie domine la liste
La radiologie représente 1 059 des dispositifs approuvés, et seulement trois d'entre eux avaient un essai enregistré. La plupart des preuves soutenant ces outils proviennent d'études de précision rétrospectives, qui mesurent dans quelle mesure un algorithme correspond à une norme de référence plutôt que de savoir si les patients s'améliorent réellement.
Les auteurs ont également constaté que 62 % des études utilisaient des conceptions observationnelles avec de petites cohortes homogènes, des analyses de sous-groupes limitées et une exclusion fréquente des populations vulnérables. Les résultats négatifs ou non concluants sont rarement publiés, ce qui, selon les chercheurs, renforce une littérature dominée par les histoires de réussite algorithmique.
Ce que veulent les chercheurs
« Nous nous attendions à ce que la base de preuves soit mince, mais pas à ce point », a déclaré Sebastian A. Cajas Ordonez, chercheur en IA à MIT Critical Data. « Sur 1 357 dispositifs d'IA que la FDA a approuvés pour une utilisation dans les soins aux patients, seulement trois ont été testés pour savoir si les patients vivent réellement plus longtemps ou mieux. L'approbation vous dit qu'un dispositif ressemble à quelque chose déjà sur le marché. Elle ne vous dit pas qu'il aide qui que ce soit. »
L'équipe soutient que les outils d'IA doivent être testés sur de vrais résultats pour les patients avant de pouvoir être qualifiés de vitaux. Ils appellent à des voies réglementaires qui exigent une validation clinique, pas seulement une précision technique, alors que des centaines de nouveaux dispositifs d'IA entrent dans les hôpitaux chaque année.