Скудные доказательства за одобрением
Почти все медицинские устройства на основе ИИ, одобренные Управлением по контролю за продуктами и лекарствами США (FDA), никогда не проходили испытания, показывающие, что они улучшают здоровье пациентов. Исследование, опубликованное 19 августа в PLOS Digital Health, показало, что из 1357 устройств с ИИ, одобренных для ухода за пациентами, только три были оценены по результатам, ориентированным на пациента, таким как смертность, повторные госпитализации или качество жизни.
Исследователи из Университета Торонто и MIT Critical Data провели систематический анализ базы данных устройств FDA и каталога ACR Data Science Institute со связанными поисками в ClinicalTrials.gov и PubMed. Они обнаружили, что только 34 из 1357 одобренных устройств, около 2,5%, были связаны с зарегистрированными клиническими испытаниями. Только 12 имели опубликованные результаты, и только три сообщали о результатах пациентов.
Радиология доминирует в списке
На радиологию приходится 1059 одобренных устройств, и только три из них имели зарегистрированное испытание. Большая часть доказательств, подтверждающих эти инструменты, поступает из ретроспективных исследований точности, которые измеряют, насколько хорошо алгоритм соответствует эталонному стандарту, а не улучшается ли состояние пациентов.
Авторы также обнаружили, что 62% исследований использовали обсервационные дизайны с небольшими однородными когортами, ограниченным анализом подгрупп и частым исключением уязвимых групп населения. Отрицательные или неубедительные результаты редко публикуются, что, по словам исследователей, усиливает литературу, в которой доминируют истории об алгоритмических успехах.
Чего хотят исследователи
«Мы ожидали, что доказательная база будет скудной, но не настолько», — сказал Себастьян А. Кахас Ордоньес, исследователь ИИ в MIT Critical Data. «Из 1357 устройств с ИИ, одобренных FDA для использования в уходе за пациентами, только три были проверены на то, живут ли пациенты дольше или лучше. Одобрение говорит вам, что устройство похоже на то, что уже есть на рынке. Это не говорит вам, что оно кому-то помогает».
Команда утверждает, что инструменты ИИ должны быть проверены на реальных результатах пациентов, прежде чем их можно будет назвать спасающими жизнь. Они призывают к регуляторным путям, требующим клинической валидации, а не только технической точности, поскольку сотни новых устройств с ИИ поступают в больницы каждый год.