承認の背後にある薄い証拠
米国食品医薬品局（FDA）によって承認されたAIベースの医療機器のほぼすべてが、患者の健康状態の改善を示す試験を受けたことがない。8月19日にPLOSデジタルヘルスに掲載された研究では、患者ケア用に承認された1,357件のAI対応機器のうち、死亡率、再入院、生活の質などの患者中心の転帰で評価されたのはわずか3件であることが判明した。
トロント大学とMITクリティカルデータの研究者らは、FDA機器データベースとACRデータサイエンス研究所カタログの系統的分析を実施し、ClinicalTrials.govとPubMedのリンク検索を行った。承認された1,357件の機器のうち、登録された臨床試験にリンクされていたのはわずか34件（約2.5%）であることがわかった。結果が掲載されていたのはわずか12件で、患者の転帰を報告していたのはわずか3件だった。
リストを支配する放射線科
放射線科は承認された機器のうち1,059件を占めており、登録された試験があったのはそのうちわずか3件だった。これらのツールを裏付ける証拠のほとんどは、アルゴリズムが参照基準とどの程度一致するかを測定するものであり、患者が実際に良くなるかどうかを測定するものではない、後ろ向きの精度研究から来ている。
著者らはまた、研究の62%が、小規模で均質なコホート、限定的なサブグループ分析、脆弱な集団の頻繁な除外を伴う観察デザインを使用していることを発見した。否定的または決定的でない所見はほとんど発表されておらず、研究者らは、これがアルゴリズムの成功談が支配する文献を強化していると述べている。
研究者が求めるもの
「証拠基盤が薄いとは予想していましたが、これほど薄いとは思いませんでした」と、MITクリティカルデータのAI研究者であるセバスチャン・A・カハス・オルドニェス氏は述べた。「FDAが患者ケアでの使用を承認した1,357件のAI機器のうち、患者が実際に長く、またはより良く生きられるかどうかで試験されたのはわずか3件です。承認は、機器が市場に出回っているものに似ていることを示すだけです。それが誰かの役に立つことを示すものではありません」
チームは、AIツールが救命と呼ばれる前に、実際の患者の転帰で試験されなければならないと主張している。彼らは、毎年何百もの新しいAI機器が病院に導入される中、技術的な精度だけでなく臨床的検証を必要とする規制経路を求めている。