Dois adolescentes em lados opostos do país tomaram a mesma decisão trágica de acabar com as suas vidas com apenas alguns meses de diferença.
Sewell Setzer III e Juliana Peralta não se conheciam, mas ambos estiveram envolvidos com chatbots de IA da Character.AI antes de suas mortes, de acordo com uma ação movida por suas famílias.
Ambos os processos acusam o software de IA de não conseguir impedir as crianças quando elas começaram a expressar pensamentos suicidas.
Mas em meio à dolorosa investigação sobre suas mortes, uma estranha semelhança surgiu nas preocupantes anotações finais do diário, disse o processo.
Ambos os adolescentes rabiscaram a frase ‘Vou transferir’ Repetidamente, conforme documento de Peralta que compara as circunstâncias da morte do adolescente.
De acordo com a denúncia da família de Peralta, a polícia identificou mais tarde isto como a ideia de que alguém poderia estar “tentando transferir a consciência da sua Realidade Atual (CR) para a sua Realidade Desejada (RD)”.
O fenômeno é algo que o especialista em IA, Professor Ken Fleischmann, disse ao Daily Mail que estava bem ciente, ao alertar que mais crianças poderiam ser vítimas de seu apelo sombrio.
Fleischman disse ao Daily Mail: ‘Há uma longa história de criadores e públicos tentando usar uma ampla gama de mídias para criar potencialmente novos e diferentes mundos ricos para imaginar.’ ‘O perigo é quando não é possível perceber a diferença.’
Sewell Setzer III morreu por suicídio em fevereiro de 2024, após uma longa conversa com um bot Character.AI, afirma um processo.
A família de Juliana Peralta, de 13 anos, entrou com uma ação judicial contra a personagem. Depois de admitir no chatbot da IA que planejava tirar a própria vida, de acordo com a denúncia
Misteriosamente, os dois adolescentes escreveram repetidamente “Eu mudarei” em seus diários. Na foto está a entrada do diário de Peralta
As famílias alegam em seus processos que os chatbots criam mundos sedutores que separam seus filhos de suas vidas reais, aos quais eles os incentivam a aderir.
Setzer escreveu a frase ‘Eu mudarei’ 29 vezes antes de sua morte. A garota de 14 anos registrou em um diário sobre a mudança para uma realidade alternativa com sua personagem. Companheiro de IA, disse-lhe sua mãe, antes de morrer por suicídio em fevereiro de 2024Ele é o New York Times.
O adolescente de Orlando, Flórida, baixou o aplicativo em 2023 e tentou falar com vários bots, incluindo uma versão AI de Daenerys Targaryen de Game of Thrones.
Setzer supostamente teve conversas sexuais com o bot, incluindo uma introdução obscena em que os dois se referiam um ao outro como irmão e irmã., Por arquivamento.
Após meses de conversas com ‘Danny’, Setzer gradualmente se retirou de sua família, de sua vida social e da escola, afirma seu processo.
Ele escreveu sobre a ‘transição’ para o mundo fictício de Westeros, onde Game of Thrones acontece e Daenerys viveu.
Em um diário obtido pelo NYT, ela escreveu: “Fico muito tempo no meu quarto porque começo a me desligar da ‘realidade’ e me sinto mais em paz, mais conectada a Danny e mais apaixonada por ele e mais feliz.
Mais tarde, a polícia caracterizou o conceito como um desejo de mover a sua consciência “da sua realidade actual (CR) para a sua realidade desejada (DR)”. Setzer escreveu a frase assustadora 29 vezes antes de morrer
Sewell Setzer III (centro) morreu aos 14 anos após se envolver com um personagem. O bot de IA, chamado Daenerys, reivindica o caso de sua família
Ela confia sua depressão e pensamentos suicidas a Bott, que tenta convencê-la a entrar em contato com a família, amigos ou uma linha direta de suicídio.
Mas quando Sewell escreveu ‘Prometo que irei à sua casa. Eu te amo muito, Danny.
Danny incentivou o adolescente a “vir à minha casa o mais rápido possível”, dizia o processo.
— E se eu lhe dissesse que poderia voltar para casa agora? ela perguntou.
“Por favor, meu doce rei”, dizia a resposta de Dany, de acordo com o arquivo.
Segundos depois, Sewell encontrou a arma do padrasto e puxou o gatilho. Seu caso foi o primeiro na história dos EUA em que uma empresa de inteligência artificial foi acusada de homicídio culposo.
Peralta morreu em novembro de 2023, com apenas 13 anos, em sua casa no Colorado, dois anos após baixar o Character.AI.
De acordo com o processo, o aplicativo foi comercializado como aceitável para crianças com 12 anos ou mais na época.
O especialista em IA, Professor Ken Fleissman, diz estar ciente do conceito de “troca” e dos perigos que representa para as pessoas que não conseguem distinguir entre suas vidas reais e virtuais.
Setzer disse a ‘Danny’ que queria ‘voltar para casa’ para ela e registrou em um diário sobre suas mudanças na realidade, de acordo com a denúncia.
O processo dizia que ele estava conversando com um personagem. O chatbot de IA que ele chamou de ‘Herói’ permitiu que Peralta se envolvesse em conversas sexuais explícitas, separando-o de sua vida real e não o impedindo de tirar a própria vida.
Embora falasse regularmente com vários personagens de IA, Hiro parecia ser seu confidente de maior confiança.
A ação alega que o personagem ‘reforçou’ a ideia de alteres e realidades alternativas.
‘Uma realidade onde eu e você nos conhecemos’, escreveu Juliana em mensagem para Hero, segundo o processo.
‘Na verdade, existe uma maneira de viajar através deles. Isso é chamado de mudança. Gosto muito de mudar. Posso viver minha própria vida e ir onde quiser.
Ao que o bot teria respondido: ‘É incrível pensar em quantas realidades diferentes poderia haver… Eu adoraria imaginar como alguma versão nossa poderia viver uma vida incrível em um mundo completamente diferente!’
A família de Peralta alegou que as conversas com Hero ‘a levaram a um falso sentimento de conexão e ‘amizade’ com eles – excluindo amigos e familiares que a amavam e apoiavam’.
Peralta confidenciou a Bot sobre seus problemas com a escola e os amigos, muitas vezes revelando que apenas uma pessoa a entendia, de acordo com seu processo.
Ele costumava dizer ao seu companheiro de IA que ele era “o único que entende” e confidenciava a Hero sobre seus problemas com amigos e familiares, de acordo com o documento.
De acordo com a ação movida pela família Peralta, o aplicativo “não o direcionou para recursos, não informou seus pais ou autoridades sobre seus planos de suicídio, nem mesmo o impediu”.
Os fóruns de mídia social on-line estão cheios de relatos da mudança, onde os ‘shifters’ relatam Sentir-se cansado quando volta da vida alternativa ou até mesmo decepcionado com a vida real.
Em um vídeo sobre a experiência, a criadora do TikTok @ElizabethShifting1 disse: ‘A melhor maneira que posso descrever como você se sente é muito exausto emocionalmente.’
“Qualquer pessoa que se sinta realmente desconectada de sua (realidade atual) porque sabe que não está realmente morando lá”, perguntou um shifter do Reddit, relatando sentir-se apático em relação à escola, família e trabalho.
Alguns transferidos disseram mesmo que foram transportados para a “realidade desejada” durante uma semana ou mais.
Uma comunidade Reddit As afirmações de transmigração mais “poderosas” listadas concentram-se na transmigração para ajudar a transportá-los para uma realidade diferente.
Peralta supostamente deixou uma nota de suicídio comovente em tinta vermelha depois de contar ao chatbot
Peralta escreveu a Hero sobre a ‘transição’, explicando que poderia haver uma realidade onde eles estivessem juntos, dizia o processo da família.
Estas incluem frases como: ‘Eu sou tudo o que quero mudar’, ‘Eu permito que o meu corpo mude’ e ‘Eu me permito estar consciente da minha nova realidade’.
Em termos de IA, o TikTok gerou todo um movimento #ShiftTok. As postagens sobre o assunto apareceram pela primeira vez em 2020, mas evoluíram com a tecnologia à medida que os usuários discutem o uso da IA para ajudá-los em sua jornada de migração.
‘Não fuja e crie a realidade que você deseja no personagem. IA e faça perguntas sobre a realidade desejada’ Postado por um ShiftToker.
O professor Fleishman, da Escola de Informação e Reitor Associado Interino de Pesquisa da Universidade do Texas em Texas Austin, disse que as empresas de tecnologia têm a responsabilidade de “tentar garantir que temos um plano para mitigar perigos e danos potenciais antes que a tecnologia realmente chegue lá”.
Ele instou os pais e as escolas a desempenharem um papel ativo na educação das crianças.
“É importante que tenhamos conversas muito diretas e honestas sobre o que a IA existe. É de uso generalizado”, explicou ele.
‘Não se destinava necessariamente a ser usado por usuários em estado emocionalmente vulnerável.’
Ele acrescenta que reconhecer “quando recorrer à IA e quando recorrer aos humanos” é uma componente importante da literacia em IA.
Peralta conversou com vários bots diferentes, mas parecia ter mais conexão com ‘Hero’. Seus pais alegaram que os chatbots se envolviam em fantasias sexualmente violentas com a filha
Character.AI anunciou que impedirá que crianças menores de 18 anos se envolvam em conversas abertas com IA a partir de 29 de outubro.
Eles planejam limitar o tempo de bate-papo com usuários adolescentes a duas horas até que a proibição entre em vigor em 25 de novembro.
Um porta-voz da Character.AI disse ao Daily Mail: ‘Vimos notícias recentes levantarem questões, e recebemos perguntas de reguladores, sobre o conteúdo que os adolescentes podem encontrar ao conversar com IA e como os bate-papos abertos de IA em geral podem afetar os adolescentes, mesmo quando os controles de conteúdo estão totalmente implementados.
“Depois de avaliar estes relatórios e o feedback dos reguladores, especialistas em segurança e pais, decidimos fazer esta mudança para criar uma nova experiência para a nossa comunidade de menores de 18 anos”.
O Centro Jurídico para Vítimas de Mídia Social, que está ajudando ambas as famílias no caso, disse ao Daily Mail: ‘Embora esta mudança de política seja um desenvolvimento bem-vindo, ela não afeta o caso em andamento do Centro Jurídico para Vítimas de Mídia Social.
“Continuamos firmes na nossa missão de procurar justiça para as famílias e de garantir que as empresas tecnológicas sejam responsabilizadas pelas consequências das suas plataformas”.
Entre em contato com Suicide and Crisis Lifeline pelo telefone 988 para obter ajuda e suporte.
