Ohut näyttö hyväksynnän takana
Lähes kaikkia Yhdysvaltain elintarvike- ja lääkeviraston (FDA) hyväksymiä tekoälypohjaisia lääkinnällisiä laitteita ei ole koskaan testattu sen osoittamiseksi, että ne parantavat potilaiden terveyttä. PLOS Digital Health -lehdessä 19. elokuuta julkaistu tutkimus osoitti, että vain kolmea 1 357:stä potilashoitoon hyväksytystä tekoälylaitteesta arvioitiin potilaskeskeisten tulosten, kuten kuolleisuuden, sairaalapaluiden tai elämänlaadun, perusteella.
Toronton yliopiston ja MIT Critical Datan tutkijat tekivät systemaattisen analyysin FDA:n laitetietokannasta ja ACR Data Science Instituten luettelosta, ja he yhdistivät hakuja ClinicalTrials.gov- ja PubMed-tietokantoihin. He havaitsivat, että vain 34:ään 1 357:stä hyväksytystä laitteesta, noin 2,5 prosenttiin, liittyi rekisteröityjä kliinisiä tutkimuksia. Vain 12:lla oli julkaistut tulokset, ja vain kolme raportoi potilaiden hoitotuloksista.
Radiologia hallitsee luetteloa
Radiologia kattaa 1 059 hyväksyttyä laitetta, ja vain kolmella niistä oli rekisteröity tutkimus. Suurin osa näitä työkaluja tukevasta näytöstä tulee retrospektiivisistä tarkkuustutkimuksista, jotka mittaavat, kuinka hyvin algoritmi vastaa vertailustandardia, eivätkä sitä, paranevatko potilaat todella.
Kirjoittajat havaitsivat myös, että 62 prosenttia tutkimuksista käytti havainnoivia tutkimusasetelmia, joissa oli pieniä, homogeenisia kohortteja, rajallisia alaryhmäanalyysejä ja usein haavoittuvien väestöryhmien pois sulkeminen. Negatiivisia tai epäselviä tuloksia julkaistaan harvoin, mikä tutkijoiden mukaan vahvistaa kirjallisuutta, jota hallitsevat algoritmiset menestystarinat.
Mitä tutkijat haluavat
"Odotimme näytön olevan ohutta, mutta emme näin ohutta", sanoi Sebastian A. Cajas Ordonez, tekoälytutkija MIT Critical Datasta. "1 357:stä FDA:n potilashoitoon hyväksymästä tekoälylaitteesta vain kolmea on testattu sen suhteen, elävätkö potilaat pidempään tai paremmin. Hyväksyntä kertoo, että laite muistuttaa jotain jo markkinoilla olevaa. Se ei kerro, että se auttaa ketään."
Tiimi väittää, että tekoälytyökalut on testattava todellisilla potilaiden hoitotuloksilla ennen kuin niitä voidaan kutsua hengenpelastajiksi. He vaativat sääntelypolkuja, jotka edellyttävät kliinistä validointia, ei vain teknistä tarkkuutta, kun satoja uusia tekoälylaitteita tulee sairaaloihin joka vuosi.