“Você acredita mesmo que a IA pode matar todos os seres humanos?”

A pergunta, feita recentemente na CNN ao CEO da Anthropic, Dario Amodei, pode parecer exagerada – e certamente está entre as questões mais difíceis que a inteligência artificial colocou diante da sociedade. Mas talvez exista uma pergunta menos cinematográfica e muito mais urgente: o que acontece quando uma inteligência artificial erra em uma decisão clínica – e o médico não percebe? Esse é um dos dilemas que deveriam estar no centro da discussão sobre o uso de IA na saúde.

O debate sobre segurança da inteligência artificial ganhou força entre os próprios líderes das empresas que desenvolvem os modelos mais avançados. Amodei, por exemplo, defendeu recentemente que a indústria adote mais cautela diante do avanço acelerado desses sistemas. Entre os riscos apontados estão a perda de controle sobre modelos cada vez mais autônomos, o uso malicioso da tecnologia e os impactos econômicos de uma automação em larga escala.

O alerta é importante porque revela uma assimetria: a capacidade da IA evolui rapidamente, enquanto nossa capacidade de avaliar seus limites ainda tenta acompanhar esse ritmo.

Na saúde, essa diferença pode custar caro

Um estudo publicado pela Nature Health ajuda a dimensionar o problema. Pesquisadores analisaram 1.469 atendimentos em 16 clínicas de atenção primária no Quênia que utilizavam um modelo de linguagem integrado ao prontuário eletrônico. Em 99% dos casos, as recomendações do sistema estavam de acordo com as diretrizes locais. As chamadas alucinações (quando o modelo produz informações incorretas ou sem fundamento) apareceram em apenas 3,4% dos atendimentos.

Parece um resultado bastante positivo. Até que se olha para o outro lado dos números. Recomendações potencialmente danosas foram identificadas em 7,8% dos atendimentos. Em 67 casos, elas chegaram à documentação final do paciente. Mais preocupante: em 62% dos atendimentos, o profissional de saúde não modificou o conteúdo produzido pela IA.

O dado mais importante, portanto, talvez não seja a taxa de acerto do sistema. É o comportamento humano diante de uma tecnologia que acerta quase sempre. Quando uma ferramenta demonstra desempenho elevado de forma consistente, a tendência é reduzir a conferência. A confiança aumenta. O processo de validação diminui. E é justamente nesse espaço que um erro ocasional pode ganhar consequências desproporcionais.

Não existe “erro de sistema” abstrato. Existe um paciente

Uma recomendação inadequada pode significar um exame que não foi solicitado, um diagnóstico que deixou de ser considerado, uma interação medicamentosa não identificada ou uma conduta terapêutica equivocada. O problema não está apenas na capacidade de a IA errar. Está na possibilidade de ela errar de maneira convincente.

Essa distinção deveria mudar a forma como pensamos a inteligência artificial aplicada à saúde. A corrida tecnológica não pode ser apenas para construir modelos que respondam melhor. Precisamos construir sistemas que saibam quando não responder, que apresentem o contexto utilizado para chegar a uma recomendação, que permitam auditoria e que deixem claro ao profissional onde termina a capacidade da máquina. Em outras palavras, o futuro da IA na medicina não será definido apenas pelo modelo mais inteligente, mas pelo sistema mais seguro.

Isso não significa frear a inovação. Pelo contrário. A inteligência artificial tem potencial para transformar profundamente a prestação de serviços de saúde. Pode reduzir o peso das tarefas administrativas, organizar informações clínicas, facilitar o acesso a evidências e ajudar profissionais a tomar decisões mais informadas.

Mas velocidade não pode ser confundida com qualidade

Uma tecnologia que reduz o tempo de um atendimento é útil. Uma tecnologia que melhora a qualidade desse atendimento é muito mais valiosa. E, entre as duas, existe uma diferença fundamental: a primeira pode ser medida em produtividade; a segunda precisa ser medida também em segurança. Por isso, a pergunta que deveria acompanhar cada novo avanço da IA na saúde não é apenas “o que essa tecnologia consegue fazer?”. É também: “em que situações ela pode falhar, como saberemos que falhou e quem será responsável por identificar o erro?”

Essa mudança de perspectiva é essencial. Afinal, se os próprios responsáveis pelo desenvolvimento dos modelos mais avançados reconhecem a necessidade de reforçar os mecanismos de controle e segurança, o setor de saúde deveria adotar um nível de exigência ainda maior.

A discussão sobre se a IA um dia poderá ameaçar a humanidade pertence ao futuro. A discussão sobre o que acontece quando uma IA influencia uma decisão médica pertence ao presente. E essa segunda pergunta é grande o suficiente para exigir nossa atenção agora.

*Marcelo Mearim é cofundador e CEO da Sofya.