Onayın arkasındaki zayıf kanıt
ABD Gıda ve İlaç Dairesi tarafından onaylanan yapay zeka tabanlı tıbbi cihazların neredeyse tamamı, hasta sağlığını iyileştirdiklerini gösterecek şekilde hiç test edilmedi. 19 Ağustos'ta PLOS Digital Health'te yayınlanan bir araştırma, hasta bakımı için onaylanan 1.357 yapay zeka destekli cihazdan yalnızca üçünün mortalite, hastaneye yeniden yatış veya yaşam kalitesi gibi hasta odaklı sonuçlar üzerinde değerlendirildiğini buldu.
Toronto Üniversitesi ve MIT Critical Data'dan araştırmacılar, ClinicalTrials.gov ve PubMed'deki bağlantılı aramalarla FDA cihaz veritabanının ve ACR Veri Bilimi Enstitüsü kataloğunun sistematik bir analizini gerçekleştirdi. Onaylanan 1.357 cihazdan yalnızca 34'ünün (yaklaşık %2,5) kayıtlı klinik çalışmalarla bağlantılı olduğunu buldular. Yalnızca 12'sinin sonuçları yayınlandı ve yalnızca üçü hasta sonuçlarını bildirdi.
Radyoloji listeye hakim
Radyoloji, onaylanan cihazların 1.059'unu oluşturuyor ve bunlardan yalnızca üçünün kayıtlı bir denemesi vardı. Bu araçları destekleyen kanıtların çoğu, bir algoritmanın bir referans standardıyla ne kadar iyi eşleştiğini ölçen, hastaların gerçekten iyileşip iyileşmediğini değil, geriye dönük doğruluk çalışmalarından geliyor.
Yazarlar ayrıca çalışmaların %62'sinin küçük, homojen kohortlar, sınırlı alt grup analizleri ve savunmasız popülasyonların sık sık dışlanmasıyla gözlemsel tasarımlar kullandığını buldu. Olumsuz veya sonuçsuz bulgular nadiren yayınlanıyor ve bu da araştırmacıların algoritmik başarı hikayelerinin hakim olduğu bir literatürü güçlendirdiğini söylediği bir durumu pekiştiriyor.
Araştırmacılar ne istiyor?
'Kanıt tabanının zayıf olmasını bekliyorduk ama bu kadar zayıf olmasını değil' dedi MIT Critical Data'da yapay zeka araştırmacısı Sebastian A. Cajas Ordonez. 'FDA'nın hasta bakımında kullanım için onayladığı 1.357 yapay zeka cihazından yalnızca üçü, hastaların gerçekten daha uzun veya daha iyi yaşayıp yaşamadığı konusunda test edildi. Onay, bir cihazın piyasadaki bir şeye benzediğini söyler. Kimseye yardım ettiğini söylemez.'
Ekip, yapay zeka araçlarının hayat kurtarıcı olarak adlandırılmadan önce gerçek hasta sonuçları üzerinde test edilmesi gerektiğini savunuyor. Her yıl hastanelere yüzlerce yeni yapay zeka cihazı girerken, yalnızca teknik doğruluğu değil, klinik doğrulamayı gerektiren düzenleyici yollar çağrısında bulunuyorlar.