Prove sottili dietro l'approvazione
Quasi tutti i dispositivi medici basati sull'IA approvati dalla Food and Drug Administration statunitense non sono mai stati testati per dimostrare che migliorano la salute dei pazienti. Uno studio pubblicato il 19 agosto su PLOS Digital Health ha rilevato che dei 1.357 dispositivi abilitati all'IA approvati per la cura dei pazienti, solo tre sono stati valutati su esiti incentrati sul paziente come mortalità, riammissioni ospedaliere o qualità della vita.
I ricercatori dell'Università di Toronto e del MIT Critical Data hanno condotto un'analisi sistematica del database dei dispositivi della FDA e del catalogo dell'ACR Data Science Institute, con ricerche collegate su ClinicalTrials.gov e PubMed. Hanno scoperto che solo 34 dei 1.357 dispositivi approvati, circa il 2,5%, erano collegati a studi clinici registrati. Solo 12 avevano risultati pubblicati e solo tre riportavano esiti per i pazienti.
La radiologia domina la lista
La radiologia rappresenta 1.059 dei dispositivi approvati e solo tre di questi avevano uno studio registrato. La maggior parte delle prove a sostegno di questi strumenti proviene da studi di accuratezza retrospettivi, che misurano quanto bene un algoritmo corrisponde a uno standard di riferimento piuttosto che se i pazienti effettivamente migliorano.
Gli autori hanno anche scoperto che il 62% degli studi utilizzava disegni osservazionali con coorti piccole e omogenee, analisi dei sottogruppi limitate e frequente esclusione di popolazioni vulnerabili. I risultati negativi o inconcludenti sono raramente pubblicati, il che, secondo i ricercatori, rafforza una letteratura dominata da storie di successo algoritmico.
Cosa vogliono i ricercatori
'Ci aspettavamo che le prove fossero scarse, ma non così scarse', ha detto Sebastian A. Cajas Ordonez, ricercatore di IA al MIT Critical Data. 'Dei 1.357 dispositivi di IA che la FDA ha approvato per l'uso nella cura dei pazienti, solo tre sono stati testati per vedere se i pazienti vivono più a lungo o meglio. L'approvazione ti dice che un dispositivo assomiglia a qualcosa già sul mercato. Non ti dice che aiuta qualcuno'.
Il team sostiene che gli strumenti di IA devono essere testati su esiti reali dei pazienti prima di poter essere chiamati salvavita. Chiedono percorsi normativi che richiedano una validazione clinica, non solo accuratezza tecnica, mentre centinaia di nuovi dispositivi di IA entrano negli ospedali ogni anno.