승인 뒤의 빈약한 증거
미국 식품의약국(FDA)이 승인한 AI 기반 의료기기 거의 대부분이 환자 건강 개선에 대한 테스트를 거친 적이 없습니다. 8월 19일 PLOS 디지털 헬스에 게재된 연구에 따르면 환자 치료용으로 승인된 AI 기기 1,357개 중 단 3개만이 사망률, 재입원율 또는 삶의 질과 같은 환자 중심 결과에 대해 평가되었습니다.
토론토 대학과 MIT 크리티컬 데이터의 연구원들은 FDA 기기 데이터베이스와 ACR 데이터 사이언스 연구소 카탈로그를 체계적으로 분석하고 ClinicalTrials.gov 및 PubMed 검색을 연계했습니다. 그들은 승인된 1,357개 기기 중 단 34개(약 2.5%)만이 등록된 임상 시험과 연관되어 있음을 발견했습니다. 결과가 게시된 곳은 12곳뿐이었고, 환자 결과를 보고한 곳은 단 3곳이었습니다.
방사선과가 목록을 지배
방사선과는 승인된 기기 1,059개를 차지하며, 그중 등록된 임상 시험이 있는 곳은 단 3곳입니다. 이러한 도구를 뒷받침하는 대부분의 증거는 알고리즘이 참조 표준과 얼마나 잘 일치하는지 측정하는 회고적 정확도 연구에서 나온 것이지, 환자가 실제로 나아지는지 여부는 아닙니다.
저자들은 또한 연구의 62%가 소규모의 동질적인 코호트, 제한된 하위 그룹 분석, 취약 인구의 빈번한 제외를 특징으로 하는 관찰 설계를 사용했음을 발견했습니다. 부정적이거나 결정적이지 않은 결과는 거의 발표되지 않으며, 연구자들은 이것이 알고리즘 성공 사례가 지배하는 문헌을 강화한다고 말했습니다.
연구진이 원하는 것
'우리는 증거 기반이 빈약할 것이라고 예상했지만, 이렇게 빈약할 줄은 몰랐습니다.'라고 MIT 크리티컬 데이터의 AI 연구원 세바스찬 A. 카하스 오르도녜스가 말했습니다. 'FDA가 환자 치료에 사용하도록 승인한 1,357개의 AI 기기 중 단 3개만이 환자가 실제로 더 오래 또는 더 잘 사는지에 대해 테스트되었습니다. 승인은 기기가 이미 시장에 나와 있는 것과 유사하다는 것을 알려줄 뿐입니다. 그것이 누군가에게 도움이 된다는 것을 알려주지는 않습니다.'
팀은 AI 도구가 생명을 구한다고 불리기 전에 실제 환자 결과에 대해 테스트되어야 한다고 주장합니다. 그들은 매년 수백 개의 새로운 AI 기기가 병원에 들어오면서 기술적 정확성뿐만 아니라 임상적 검증을 요구하는 규제 경로를 촉구합니다.