Dun bewijs achter goedkeuring
Bijna alle op AI gebaseerde medische apparaten die door de Amerikaanse Food and Drug Administration zijn goedgekeurd, zijn nooit getest om aan te tonen dat ze de gezondheid van patiënten verbeteren. Een studie gepubliceerd op 19 augustus in PLOS Digital Health vond dat van de 1.357 AI-apparaten die zijn goedgekeurd voor patiëntenzorg, er slechts drie zijn geëvalueerd op patiëntgerichte uitkomsten zoals sterfte, ziekenhuisopnames of kwaliteit van leven.
Onderzoekers van de Universiteit van Toronto en MIT Critical Data voerden een systematische analyse uit van de FDA-apparatenbank en de ACR Data Science Institute-catalogus, met gekoppelde zoekopdrachten in ClinicalTrials.gov en PubMed. Ze ontdekten dat slechts 34 van de 1.357 goedgekeurde apparaten, ongeveer 2,5%, gekoppeld waren aan geregistreerde klinische onderzoeken. Slechts 12 hadden resultaten gepubliceerd, en slechts drie rapporteerden patiëntuitkomsten.
Radiologie domineert de lijst
Radiologie is verantwoordelijk voor 1.059 van de goedgekeurde apparaten, en slechts drie daarvan hadden een geregistreerd onderzoek. Het meeste bewijs dat deze hulpmiddelen ondersteunt, komt van retrospectieve nauwkeurigheidsstudies, die meten hoe goed een algoritme overeenkomt met een referentiestandaard in plaats van of patiënten daadwerkelijk beter worden.
De auteurs ontdekten ook dat 62% van de onderzoeken observationele ontwerpen gebruikte met kleine, homogene cohorten, beperkte subgroepanalyses en frequente uitsluiting van kwetsbare bevolkingsgroepen. Negatieve of niet-overtuigende bevindingen worden zelden gepubliceerd, wat volgens de onderzoekers een literatuur versterkt die wordt gedomineerd door algoritmische succesverhalen.
Wat de onderzoekers willen
'We verwachtten dat de bewijsbasis dun zou zijn, maar niet zo dun', zei Sebastian A. Cajas Ordonez, AI-onderzoeker bij MIT Critical Data. 'Van de 1.357 AI-apparaten die de FDA heeft goedgekeurd voor gebruik in de patiëntenzorg, zijn er slechts drie getest op of patiënten daadwerkelijk langer of beter leven. Goedkeuring vertelt je dat een apparaat lijkt op iets dat al op de markt is. Het vertelt je niet dat het iemand helpt.'
Het team stelt dat AI-tools moeten worden getest op echte patiëntuitkomsten voordat ze levensreddend kunnen worden genoemd. Ze pleiten voor regelgevingspaden die klinische validatie vereisen, niet alleen technische nauwkeurigheid, nu honderden nieuwe AI-apparaten elk jaar ziekenhuizen binnenkomen.