Szczupłe dowody za zatwierdzeniem
Prawie wszystkie urządzenia medyczne oparte na AI zatwierdzone przez amerykańską Agencję Żywności i Leków nigdy nie zostały przetestowane pod kątem poprawy zdrowia pacjentów. Badanie opublikowane 19 sierpnia w PLOS Digital Health wykazało, że z 1357 urządzeń z AI dopuszczonych do opieki nad pacjentem tylko trzy zostały ocenione pod kątem wyników skoncentrowanych na pacjencie, takich jak śmiertelność, ponowne hospitalizacje czy jakość życia.
Naukowcy z Uniwersytetu w Toronto i MIT Critical Data przeprowadzili systematyczną analizę bazy danych FDA i katalogu ACR Data Science Institute, z powiązanymi wyszukiwaniami w ClinicalTrials.gov i PubMed. Odkryli, że tylko 34 z 1357 zatwierdzonych urządzeń, około 2,5%, było powiązanych z zarejestrowanymi badaniami klinicznymi. Tylko 12 miało opublikowane wyniki, a tylko trzy raportowały wyniki pacjentów.
Radiologia dominuje na liście
Radiologia odpowiada za 1059 zatwierdzonych urządzeń, a tylko trzy z nich miały zarejestrowane badanie. Większość dowodów wspierających te narzędzia pochodzi z retrospektywnych badań dokładności, które mierzą, jak dobrze algorytm pasuje do standardu referencyjnego, a nie czy pacjenci faktycznie czują się lepiej.
Autorzy odkryli również, że 62% badań wykorzystywało projekty obserwacyjne z małymi, jednorodnymi kohortami, ograniczonymi analizami podgrup i częstym wykluczaniem wrażliwych populacji. Negatywne lub niejednoznaczne wyniki są rzadko publikowane, co – jak twierdzą naukowcy – wzmacnia literaturę zdominowaną przez historie sukcesu algorytmów.
Czego chcą naukowcy
„Spodziewaliśmy się, że baza dowodów będzie szczupła, ale nie aż tak" – powiedział Sebastian A. Cajas Ordonez, badacz AI w MIT Critical Data. „Z 1357 urządzeń AI, które FDA zatwierdziła do stosowania w opiece nad pacjentem, tylko trzy zostały przetestowane pod kątem tego, czy pacjenci faktycznie żyją dłużej lub lepiej. Zatwierdzenie mówi ci, że urządzenie przypomina coś, co już jest na rynku. Nie mówi ci, że komuś pomaga".
Zespół argumentuje, że narzędzia AI muszą być testowane pod kątem rzeczywistych wyników pacjentów, zanim będzie można je nazwać ratującymi życie. Wzywają do ścieżek regulacyjnych wymagających walidacji klinicznej, a nie tylko dokładności technicznej, ponieważ setki nowych urządzeń AI trafiają co roku do szpitali.