Tunna bevis bakom godkännande
Nästan alla AI-baserade medicintekniska produkter som godkänts av den amerikanska läkemedelsmyndigheten FDA har aldrig testats för att visa att de förbättrar patienthälsan. En studie publicerad den 19 augusti i PLOS Digital Health fann att av 1 357 AI-aktiverade produkter godkända för patientvård var endast tre utvärderade på patientcentrerade resultat som dödlighet, återinläggningar på sjukhus eller livskvalitet.
Forskare från University of Toronto och MIT Critical Data genomförde en systematisk analys av FDA:s enhetsdatabas och ACR Data Science Institute-katalogen, med länkade sökningar i ClinicalTrials.gov och PubMed. De fann att endast 34 av de 1 357 godkända produkterna, cirka 2,5 procent, var kopplade till registrerade kliniska prövningar. Endast 12 hade publicerade resultat, och endast tre rapporterade patientresultat.
Radiologi dominerar listan
Radiologi står för 1 059 av de godkända produkterna, och endast tre av dessa hade en registrerad prövning. Det mesta av bevisen som stöder dessa verktyg kommer från retrospektiva noggrannhetsstudier, som mäter hur väl en algoritm matchar en referensstandard snarare än om patienter faktiskt blir bättre.
Författarna fann också att 62 procent av studierna använde observationsdesigner med små, homogena kohorter, begränsade subgruppsanalyser och frekvent uteslutning av utsatta populationer. Negativa eller ofullständiga resultat publiceras sällan, vilket forskarna sade förstärker en litteratur som domineras av algoritmiska framgångshistorier.
Vad forskarna vill
"Vi förväntade oss att evidensbasen skulle vara tunn, men inte så här tunn", säger Sebastian A. Cajas Ordonez, AI-forskare vid MIT Critical Data. "Av 1 357 AI-produkter som FDA har godkänt för användning i patientvård har endast tre testats på om patienter faktiskt lever längre eller bättre. Godkännande säger dig att en produkt liknar något som redan finns på marknaden. Det säger dig inte att den hjälper någon."
Teamet argumenterar för att AI-verktyg måste testas på verkliga patientresultat innan de kan kallas livräddande. De kräver regulatoriska vägar som kräver klinisk validering, inte bara teknisk noggrannhet, när hundratals nya AI-produkter kommer in på sjukhus varje år.