Evidências fracas por trás da aprovação
Quase todos os dispositivos médicos baseados em IA aprovados pela Food and Drug Administration (FDA) dos EUA nunca foram testados para mostrar que melhoram a saúde do paciente. Um estudo publicado em 19 de agosto na PLOS Digital Health descobriu que, dos 1.357 dispositivos habilitados para IA aprovados para atendimento ao paciente, apenas três foram avaliados em resultados centrados no paciente, como mortalidade, readmissões hospitalares ou qualidade de vida.
Pesquisadores da Universidade de Toronto e do MIT Critical Data conduziram uma análise sistemática do banco de dados de dispositivos da FDA e do catálogo do ACR Data Science Institute, com buscas vinculadas no ClinicalTrials.gov e no PubMed. Eles descobriram que apenas 34 dos 1.357 dispositivos aprovados, cerca de 2,5%, estavam vinculados a ensaios clínicos registrados. Apenas 12 tinham resultados publicados, e apenas três relataram resultados de pacientes.
A radiologia domina a lista
A radiologia é responsável por 1.059 dos dispositivos aprovados, e apenas três deles tinham um ensaio registrado. A maior parte das evidências que sustentam essas ferramentas vem de estudos retrospectivos de precisão, que medem quão bem um algoritmo corresponde a um padrão de referência, em vez de saber se os pacientes realmente melhoram.
Os autores também descobriram que 62% dos estudos usaram desenhos observacionais com coortes pequenas e homogêneas, análises de subgrupos limitadas e exclusão frequente de populações vulneráveis. Achados negativos ou inconclusivos raramente são publicados, o que, segundo os pesquisadores, reforça uma literatura dominada por histórias de sucesso algorítmico.
O que os pesquisadores querem
'Esperávamos que a base de evidências fosse fraca, mas não tão fraca', disse Sebastian A. Cajas Ordonez, pesquisador de IA no MIT Critical Data. 'Dos 1.357 dispositivos de IA que a FDA aprovou para uso no atendimento ao paciente, apenas três foram testados para ver se os pacientes realmente vivem mais ou melhor. A aprovação diz que um dispositivo se assemelha a algo já no mercado. Não diz que ajuda alguém.'
A equipe argumenta que as ferramentas de IA devem ser testadas em resultados reais de pacientes antes de serem chamadas de salvadoras de vidas. Eles pedem caminhos regulatórios que exijam validação clínica, não apenas precisão técnica, à medida que centenas de novos dispositivos de IA entram nos hospitais a cada ano.