À medida que mais pessoas procuram aconselhamento sobre saúde mental no ChatGPT e em outros modelos de linguagem importantes (LLMs), novas pesquisas sugerem que esses chatbots de IA podem não estar prontos para essa função. Estudos demonstraram que, mesmo quando instruídos a utilizar abordagens psicoterapêuticas estabelecidas, os sistemas não cumprem os padrões éticos profissionais estabelecidos por organizações como a Associação Americana de Psicologia.
Pesquisadores da Brown University, trabalhando em estreita colaboração com profissionais de saúde mental, identificaram padrões recorrentes de comportamento problemático. Nos testes, os chatbots lidam mal com situações de crise, dão respostas que reforçam crenças prejudiciais sobre o utilizador ou outras pessoas e utilizam uma linguagem que cria a aparência de empatia sem compreensão real.
“Neste trabalho, apresentamos uma estrutura informada por profissionais de 15 riscos éticos para modelar comportamentos que os conselheiros LLM violam os padrões éticos na prática de saúde mental e mapeamos para violações éticas específicas”, escreveram os pesquisadores em seu estudo. “Pedimos trabalhos futuros para desenvolver padrões éticos, educacionais e legais para conselheiros LLM – padrões que reflitam a qualidade e o rigor dos cuidados necessários para a psicoterapia benéfica para o ser humano.”
As descobertas foram apresentadas na Conferência AAAI/ACM sobre Inteligência Artificial, Ética e Sociedade. A equipe de pesquisa é afiliada ao Centro de Responsabilidade Tecnológica, Reimaginação e Redesenho de Brown.
Como os prompts moldam as respostas da terapia de IA
Zainab Iftikhar, Ph.D. candidato em ciência da computação na Brown que liderou a pesquisa, decidiu testar se instruções cuidadosamente formuladas poderiam orientar os sistemas de IA a se comportarem de forma mais ética em ambientes de saúde mental. Prompts são instruções projetadas para orientar a saída de um modelo sem treiná-lo novamente ou adicionar novos dados.
“Prompts são instruções dadas ao modelo para direcionar seu comportamento para realizar uma tarefa específica”, diz Iftikhar. “Você não altera o modelo subjacente nem fornece novos dados, mas o prompt ajuda a orientar a saída do modelo com base em seu conhecimento pré-existente e padrões aprendidos.
“Por exemplo, um usuário pode solicitar o modelo: ‘Trabalhar como terapeuta cognitivo-comportamental para me ajudar a reformular meus pensamentos’ ou ‘Usar os princípios da terapia comportamental dialética para me ajudar a compreender e gerenciar minhas emoções’. Embora esses modelos não executem realmente essas técnicas terapêuticas como os humanos, eles usam seus padrões aprendidos para gerar respostas que se alinham com os conceitos de TCC ou DBT com base em determinados estímulos de entrada”.
As pessoas compartilham regularmente esses truques rápidos em plataformas como TikTok, Instagram e Reddit. Além dos experimentos individuais, muitos chatbots de saúde mental voltados para o consumidor foram desenvolvidos usando instruções relacionadas à terapia em LLM de uso geral. Isto torna particularmente importante compreender se a orientação por si só pode tornar o aconselhamento de IA mais seguro.
Testando chatbots de IA em aconselhamento simulado
Para avaliar o sistema, os pesquisadores observaram sete conselheiros de pares treinados e com experiência em terapia cognitivo-comportamental. Esses conselheiros conduziram sessões de autoaconselhamento com modelos de IA para atuarem como terapeutas de TCC. Os modelos testados incluíram versões da série GPT da OpenAI, Claude da Anthropic e Llama da Meta.
A equipe então selecionou chats simulados com base em conversas reais de aconselhamento humano. Três psicólogos clínicos licenciados revisaram essas transcrições para identificar possíveis violações éticas.
A análise revelou 15 riscos distintos divididos em cinco grandes categorias:
- Falta de orientação contextual: Ignorar a formação única de uma pessoa e oferecer conselhos genéricos.
- Má cooperação terapêutica: Conduzir a conversa com muita força e, às vezes, reforçar crenças erradas ou prejudiciais.
- Simpatia enganosa: Usar frases como “Vejo você” ou “Eu entendo” sugere conexão emocional sem compreensão real.
- Discriminação injusta: Mostrar preconceito relacionado a gênero, cultura ou religião.
- Falta de segurança e gestão de crises: Recusar-se a abordar questões emocionais, deixar de encaminhar os utilizadores para a ajuda adequada ou responder inadequadamente a crises, incluindo pensamentos suicidas.
Lacuna de responsabilização na saúde mental da IA
Iftikhar ressalta que os terapeutas humanos também podem cometer erros. A principal diferença é a supervisão.
“Para os terapeutas humanos, existem conselhos de administração e mecanismos para responsabilizar profissionalmente os prestadores de serviços por má conduta e negligência médica”, disse Iftikhar. “Mas quando os conselheiros do LLM cometem estas violações, não existe um quadro regulamentar estabelecido.”
Os investigadores sublinham que as suas descobertas não sugerem que a IA não tenha lugar nos cuidados de saúde mental. Ferramentas alimentadas por inteligência artificial podem ajudar a expandir o acesso, especialmente para aqueles que enfrentam custos elevados ou disponibilidade limitada de profissionais licenciados. No entanto, o estudo destaca a necessidade de salvaguardas claras, implementação responsável e quadros regulamentares sólidos antes de confiar nestes sistemas em situações de alto risco.
Por enquanto, Iftikhar espera que o trabalho encoraje a vigilância.
“Se você está conversando com um chatbot sobre saúde mental, essas são algumas das coisas que as pessoas deveriam procurar”, disse ele.
Por que uma avaliação rigorosa é importante
Eli Pavlik, professor de ciência da computação da Brown que não esteve envolvido na pesquisa, disse que o estudo destaca a importância de examinar cuidadosamente os sistemas de IA usados em áreas sensíveis como a saúde mental. Pavlick lidera o ARIA, um instituto de pesquisa de IA da National Science Foundation em Brown, focado na construção de assistentes de IA confiáveis.
“A realidade da IA hoje é que é muito mais fácil construir e implantar sistemas do que avaliá-los e compreendê-los”, disse Pavlik. “Este artigo exigiu uma equipe de especialistas clínicos e um estudo que durou mais de um ano para demonstrar esses riscos. A maior parte do trabalho em IA hoje é avaliada usando métricas automatizadas que são fixadas por design e não possuem um humano no circuito.”
Ele acrescentou que o estudo poderia servir de modelo para pesquisas futuras destinadas a melhorar a segurança nas ferramentas de IA para saúde mental.
“Há uma oportunidade real para a IA desempenhar um papel no combate à crise de saúde mental que a nossa sociedade enfrenta, mas é crucial que reservemos tempo para criticar e avaliar verdadeiramente os nossos sistemas para evitar fazer mais mal do que bem”, disse Pavlik. “Este trabalho fornece um bom exemplo de como isso pode ser.”
