Tyndt bevis bag godkendelse
Næsten alle AI-baserede medicinske enheder godkendt af den amerikanske fødevare- og lægemiddelstyrelse (FDA) er aldrig blevet testet for at vise, at de forbedrer patienters helbred. En undersøgelse offentliggjort den 19. august i PLOS Digital Health viste, at af 1.357 AI-aktiverede enheder godkendt til patientbehandling blev kun tre evalueret på patientcentrerede resultater såsom dødelighed, genindlæggelser eller livskvalitet.
Forskere fra University of Toronto og MIT Critical Data gennemførte en systematisk analyse af FDA-enhedsdatabasen og ACR Data Science Institute-kataloget med tilknyttede søgninger i ClinicalTrials.gov og PubMed. De fandt, at kun 34 af de 1.357 godkendte enheder, cirka 2,5%, var forbundet med registrerede kliniske forsøg. Kun 12 havde offentliggjorte resultater, og kun tre rapporterede patientresultater.
Radiologi dominerer listen
Radiologi tegner sig for 1.059 af de godkendte enheder, og kun tre af dem havde et registreret forsøg. Det meste af beviserne, der understøtter disse værktøjer, kommer fra retrospektive nøjagtighedsstudier, som måler, hvor godt en algoritme matcher en referencestandard snarere end om patienter faktisk bliver bedre.
Forfatterne fandt også, at 62% af undersøgelserne brugte observationsdesign med små, homogene kohorter, begrænsede undergruppeanalyser og hyppig udelukkelse af sårbare befolkningsgrupper. Negative eller ikke-konklusive resultater offentliggøres sjældent, hvilket forskerne sagde forstærker en litteratur domineret af algoritmiske succeshistorier.
Hvad forskerne ønsker
'Vi forventede, at evidensgrundlaget ville være tyndt, men ikke så tyndt,' sagde Sebastian A. Cajas Ordonez, en AI-forsker ved MIT Critical Data. 'Ud af 1.357 AI-enheder, som FDA har godkendt til brug i patientbehandling, er kun tre blevet testet for, om patienter faktisk lever længere eller bedre. Godkendelse fortæller dig, at en enhed ligner noget, der allerede er på markedet. Det fortæller dig ikke, at den hjælper nogen.'
Teamet argumenterer for, at AI-værktøjer skal testes på reelle patientresultater, før de kan kaldes livreddende. De opfordrer til regulatoriske veje, der kræver klinisk validering, ikke kun teknisk nøjagtighed, efterhånden som hundredvis af nye AI-enheder kommer ind på hospitaler hvert år.