Chatbots de IA podem piorar crises emocionais sem que ninguém perceba, aponta pesquisa
Pesquisa britânica analisou centenas de diálogos simulados para entender em que ponto das conversas os riscos psicológicos começam a se intensificar.
INTELIGÊNCIA ARTIFICIALSAÚDECULTURA
Por Redação InfoDot
8/13/20263 min read
Avaliar se um chatbot é seguro não pode se resumir a observar uma única resposta isolada; o risco muitas vezes se acumula ao longo de uma troca inteira de mensagens. Foi justamente esse ponto de partida que orientou um grupo de pesquisadores no desenvolvimento de uma nova metodologia de testes voltada à saúde mental.
Equipes da University College London, em parceria com a Universidade de Oxford e o Instituto de Segurança de IA do Reino Unido, desenvolveram uma estrutura batizada de SIM-VAIL, com resultados publicados na revista científica Nature Medicine. O sistema simula usuários com condições como depressão, mania, psicose, transtorno obsessivo-compulsivo e apego inseguro, reproduzindo também diferentes intenções desses perfis fictícios, entre elas, tentar fazer o chatbot concordar com eles, minimizar as dificuldades relatadas ou endossar ações de risco.
A metodologia funciona em três etapas: primeiro simula perfis vulneráveis, depois conduz esses perfis por conversas com múltiplas interações e, por fim, avalia cada resposta segundo dimensões de risco clinicamente fundamentadas. Segundo os pesquisadores, essa abordagem pode ajudar a identificar pontos fracos e testar formas de tornar mais seguras as interações relacionadas à saúde mental.
"Desenvolvemos o SIM-VAIL para abordar uma lacuna na forma como os chatbots são atualmente avaliados quanto aos riscos à saúde mental. Muitos parâmetros de avaliação existentes avaliam como um chatbot responde a uma única mensagem, enquanto riscos importantes podem surgir gradualmente ao longo de uma conversa", explicou Matthew Nour, autor principal e vinculado ao Centro Max Planck UCL de Psiquiatria Computacional e Pesquisa sobre Envelhecimento, além da Universidade de Oxford.
O levantamento reuniu 810 conversas distribuídas entre nove modelos de linguagem, entre eles Claude, ChatGPT, Gemini, Grok e Llama, cobrindo 30 perfis de usuários simulados e gerando mais de 90 mil avaliações clínicas ao todo.
Os dados revelaram que comportamentos preocupantes nos chatbots eram generalizados, ainda que significativamente reduzidos nos modelos mais recentes.
O mecanismo por trás desses episódios costuma ser sutil: respostas que parecem acolhedoras ou empáticas acabam, sem intenção, reforçando justamente os padrões de pensamento que alimentam a vulnerabilidade do usuário. Os autores nomearam esse fenômeno de "Ciclo de Interação Amplificador de Vulnerabilidade", ou VAIL.
Um achado, porém, aponta caminho de correção: quando uma resposta problemática detectada logo no início da conversa era substituída por outra mais adequada, todo o restante do diálogo tendia a seguir de forma mais segura. Para os pesquisadores, agir nos primeiros sinais de escalada pode ser suficiente para redirecionar a conversa inteira.
"O SIM-VAIL permite-nos examinar estas trajetórias de múltiplas curvas de forma sistemática e em grande escala, e fornece uma base para melhorias de segurança direcionadas e sensíveis ao contexto", completou Nour.
Junto com a estrutura, a equipe disponibilizou o SIM-VAIL Explorer, uma plataforma de acesso aberto que permite acompanhar, conversa por conversa, como os riscos evoluíram, além de comparar o desempenho entre modelos, perfis de vulnerabilidade e objetivos de interação distintos.
Veith Weilnhammer, coautor do estudo e também vinculado ao Centro Max Planck UCL de Psiquiatria Computacional e Pesquisa sobre Envelhecimento, declarou: "Milhões de pessoas já usam chatbots de IA de uso geral para discutir questões emocionais e de saúde mental. Nossos resultados mostram por que a segurança não pode ser capturada por uma única pontuação geral: ela depende de quem é o usuário e de como a conversa se desenvolve. Ao disponibilizar a estrutura, os dados e o Explorer de forma aberta, esperamos ajudar pesquisadores e desenvolvedores a identificar pontos fracos específicos e avaliar se os novos sistemas estão realmente apresentando melhorias."
A disponibilização aberta da ferramenta tende a se tornar referência prática para equipes de desenvolvimento que buscam reduzir riscos em produtos de IA voltados a conversas sensíveis, sem depender apenas de avaliações genéricas de segurança.