หลักฐานบางเบาหลังการรับรอง
อุปกรณ์แพทย์ที่ใช้ AI เกือบทั้งหมดที่ผ่านการรับรองจากสำนักงานคณะกรรมการอาหารและยาสหรัฐฯ (FDA) ไม่เคยถูกทดสอบเพื่อแสดงว่าช่วยปรับปรุงสุขภาพผู้ป่วย การศึกษาที่ตีพิมพ์เมื่อวันที่ 19 สิงหาคมใน PLOS Digital Health พบว่าจากอุปกรณ์ที่เปิดใช้ AI 1,357 รายการที่ผ่านการรับรองสำหรับการดูแลผู้ป่วย มีเพียงสามรายการเท่านั้นที่ได้รับการประเมินผลลัพธ์ที่เน้นผู้ป่วย เช่น อัตราการเสียชีวิต การกลับเข้ารับการรักษาในโรงพยาบาล หรือคุณภาพชีวิต
นักวิจัยจากมหาวิทยาลัยโตรอนโตและ MIT Critical Data ดำเนินการวิเคราะห์อย่างเป็นระบบของฐานข้อมูลอุปกรณ์ FDA และแคตตาล็อกสถาบันวิทยาศาสตร์ข้อมูล ACR พร้อมการค้นหาที่เชื่อมโยงกับ ClinicalTrials.gov และ PubMed พวกเขาพบว่ามีเพียง 34 จาก 1,357 อุปกรณ์ที่ผ่านการรับรอง ประมาณ 2.5% เชื่อมโยงกับการทดลองทางคลินิกที่ลงทะเบียน มีเพียง 12 รายการที่มีผลลัพธ์โพสต์ และมีเพียงสามรายการที่รายงานผลลัพธ์ของผู้ป่วย
รังสีวิทยาครองรายการ
รังสีวิทยาคิดเป็น 1,059 ของอุปกรณ์ที่ผ่านการรับรอง และมีเพียงสามรายการเท่านั้นที่มีการทดลองที่ลงทะเบียน หลักฐานส่วนใหญ่ที่สนับสนุนเครื่องมือเหล่านี้มาจากการศึกษาความแม่นยำแบบย้อนหลัง ซึ่งวัดว่าอัลกอริทึมตรงกับมาตรฐานอ้างอิงได้ดีเพียงใด แทนที่จะวัดว่าผู้ป่วยดีขึ้นจริงหรือไม่
ผู้เขียนยังพบว่า 62% ของการศึกษาใช้การออกแบบเชิงสังเกตที่มีกลุ่มตัวอย่างขนาดเล็กและเป็นเนื้อเดียวกัน การวิเคราะห์กลุ่มย่อยที่จำกัด และการแยกประชากรที่เปราะบางบ่อยครั้ง ผลลัพธ์เชิงลบหรือไม่สรุปไม่ค่อยได้รับการตีพิมพ์ ซึ่งนักวิจัยกล่าวว่าเสริมสร้างวรรณกรรมที่ครอบงำด้วยเรื่องราวความสำเร็จของอัลกอริทึม
สิ่งที่นักวิจัยต้องการ
'เราคาดว่าหลักฐานจะบาง แต่ไม่บางขนาดนี้' เซบาสเตียน เอ. คาฮาส ออร์โดเนซ นักวิจัย AI ที่ MIT Critical Data กล่าว 'จากอุปกรณ์ AI 1,357 รายการที่ FDA รับรองให้ใช้ในการดูแลผู้ป่วย มีเพียงสามรายการเท่านั้นที่ทดสอบว่าผู้ป่วยมีอายุยืนยาวหรือดีขึ้นจริงหรือไม่ การรับรองบอกคุณว่าอุปกรณ์คล้ายกับสิ่งที่อยู่ในตลาดแล้ว ไม่ได้บอกว่ามันช่วยใครได้'
ทีมงานโต้แย้งว่าเครื่องมือ AI ต้องถูกทดสอบกับผลลัพธ์ของผู้ป่วยจริงก่อนที่จะเรียกว่าช่วยชีวิตได้ พวกเขาเรียกร้องให้มีเส้นทางกำกับดูแลที่ต้องมีการตรวจสอบทางคลินิก ไม่ใช่แค่ความแม่นยำทางเทคนิค เนื่องจากอุปกรณ์ AI ใหม่หลายร้อยรายการเข้าสู่โรงพยาบาลในแต่ละปี