Bằng chứng mỏng manh đằng sau sự chấp thuận
Gần như tất cả các thiết bị y tế dựa trên AI được Cục Quản lý Thực phẩm và Dược phẩm Mỹ (FDA) chấp thuận chưa bao giờ được thử nghiệm để chứng minh chúng cải thiện sức khỏe bệnh nhân. Một nghiên cứu được công bố ngày 19 tháng 8 trên PLOS Digital Health cho thấy trong số 1.357 thiết bị hỗ trợ AI được chấp thuận cho chăm sóc bệnh nhân, chỉ có ba thiết bị được đánh giá dựa trên các kết quả lấy bệnh nhân làm trung tâm như tỷ lệ tử vong, tái nhập viện hoặc chất lượng cuộc sống.
Các nhà nghiên cứu từ Đại học Toronto và MIT Critical Data đã tiến hành phân tích có hệ thống cơ sở dữ liệu thiết bị của FDA và danh mục Viện Khoa học Dữ liệu ACR, với các tìm kiếm liên kết trên ClinicalTrials.gov và PubMed. Họ phát hiện ra rằng chỉ có 34 trong số 1.357 thiết bị được chấp thuận, khoảng 2,5%, được liên kết với các thử nghiệm lâm sàng đã đăng ký. Chỉ có 12 có kết quả được công bố, và chỉ có ba báo cáo kết quả của bệnh nhân.
X-quang chiếm ưu thế trong danh sách
X-quang chiếm 1.059 trong số các thiết bị được chấp thuận, và chỉ có ba trong số đó có thử nghiệm đã đăng ký. Hầu hết bằng chứng hỗ trợ các công cụ này đến từ các nghiên cứu độ chính xác hồi cứu, đo lường mức độ khớp của thuật toán với một tiêu chuẩn tham chiếu thay vì liệu bệnh nhân có thực sự khỏe hơn hay không.
Các tác giả cũng phát hiện ra rằng 62% các nghiên cứu sử dụng thiết kế quan sát với các nhóm thuần tập nhỏ, đồng nhất, phân tích phân nhóm hạn chế và thường xuyên loại trừ các nhóm dân số dễ bị tổn thương. Các phát hiện tiêu cực hoặc không kết luận hiếm khi được công bố, điều mà các nhà nghiên cứu cho rằng củng cố một tài liệu thống trị bởi những câu chuyện thành công về thuật toán.
Điều các nhà nghiên cứu muốn
'Chúng tôi dự kiến cơ sở bằng chứng sẽ mỏng, nhưng không mỏng đến mức này,' Sebastian A. Cajas Ordonez, một nhà nghiên cứu AI tại MIT Critical Data cho biết. 'Trong số 1.357 thiết bị AI mà FDA đã chấp thuận để sử dụng trong chăm sóc bệnh nhân, chỉ có ba thiết bị được thử nghiệm về việc liệu bệnh nhân có sống lâu hơn hoặc tốt hơn hay không. Sự chấp thuận cho bạn biết một thiết bị giống với một thứ gì đó đã có trên thị trường. Nó không cho bạn biết nó giúp ích cho ai.'
Nhóm nghiên cứu lập luận rằng các công cụ AI phải được thử nghiệm trên kết quả thực tế của bệnh nhân trước khi chúng có thể được gọi là cứu sống. Họ kêu gọi các con đường quản lý yêu cầu xác nhận lâm sàng, không chỉ độ chính xác kỹ thuật, khi hàng trăm thiết bị AI mới đi vào bệnh viện mỗi năm.