Dünne Evidenz hinter der Zulassung
Fast alle KI-basierten Medizinprodukte, die von der US-Gesundheitsbehörde FDA zugelassen wurden, sind nie daraufhin getestet worden, ob sie die Gesundheit von Patienten verbessern. Eine am 19. August in PLOS Digital Health veröffentlichte Studie ergab, dass von 1.357 KI-fähigen Geräten, die für die Patientenversorgung zugelassen wurden, nur drei anhand patientenzentrierter Ergebnisse wie Sterblichkeit, Krankenhauswiedereinweisungen oder Lebensqualität bewertet wurden.
Forscher der Universität Toronto und von MIT Critical Data führten eine systematische Analyse der FDA-Gerätedatenbank und des Katalogs des ACR Data Science Institute durch, mit verknüpften Suchen in ClinicalTrials.gov und PubMed. Sie fanden heraus, dass nur 34 der 1.357 zugelassenen Geräte, etwa 2,5 %, mit registrierten klinischen Studien verknüpft waren. Nur 12 hatten Ergebnisse veröffentlicht, und nur drei berichteten über Patientenergebnisse.
Radiologie dominiert die Liste
Die Radiologie macht 1.059 der zugelassenen Geräte aus, und nur drei davon hatten eine registrierte Studie. Die meisten Belege für diese Werkzeuge stammen aus retrospektiven Genauigkeitsstudien, die messen, wie gut ein Algorithmus mit einem Referenzstandard übereinstimmt, und nicht, ob es den Patienten tatsächlich besser geht.
Die Autoren fanden auch heraus, dass 62 % der Studien Beobachtungsdesigns mit kleinen, homogenen Kohorten, begrenzten Subgruppenanalysen und häufigem Ausschluss gefährdeter Bevölkerungsgruppen verwendeten. Negative oder nicht schlüssige Ergebnisse werden selten veröffentlicht, was laut den Forschern eine Literatur verstärkt, die von algorithmischen Erfolgsgeschichten dominiert wird.
Was die Forscher wollen
'Wir erwarteten, dass die Evidenzbasis dünn ist, aber nicht so dünn', sagte Sebastian A. Cajas Ordonez, KI-Forscher bei MIT Critical Data. 'Von 1.357 KI-Geräten, die die FDA für die Patientenversorgung zugelassen hat, wurden nur drei darauf getestet, ob Patienten tatsächlich länger oder besser leben. Eine Zulassung sagt Ihnen, dass ein Gerät etwas ähnelt, das bereits auf dem Markt ist. Sie sagt nicht, dass es jemandem hilft.'
Das Team argumentiert, dass KI-Tools an realen Patientenergebnissen getestet werden müssen, bevor sie als lebensrettend bezeichnet werden können. Sie fordern regulatorische Wege, die eine klinische Validierung erfordern, nicht nur technische Genauigkeit, da jedes Jahr Hunderte neuer KI-Geräte in Krankenhäuser gelangen.