Por Khari Johnson, CalMatters
O procurador-geral da Califórnia, Rob Bonta, anunciou hoje uma investigação para saber se o X e o XAI de Elon Musk infringiram a lei nas últimas semanas ao permitir a distribuição de imagens nuas ou sexuais sem consentimento.
xAI alegadamente No mês passado, a Grok atualizou sua ferramenta de inteligência artificial para permitir a edição de imagens. Usuários da plataforma de mídia social X conectados à ferramenta começaram a usar o Grok para retirar roupas de imagens de mulheres e crianças.
“A avalanche de relatórios detalhando material sexualmente explícito questionável que a XAI produziu e publicou online nas últimas semanas foi chocante”, disse Bonta. disse em uma declaração escrita. “Este material, que retrata mulheres e crianças nuas e em posições sexualmente explícitas, tem sido usado para assediar pessoas na Internet. Peço à xAI que tome medidas imediatas para evitar que isto aconteça novamente.”
Bonta incentiva os californianos que desejam mostrar imagens suas ou de seus filhos nus ou envolvidos em atividades sexuais oag.ca.gov/report. Em resposta por e-mail, xAI não respondeu a perguntas sobre a investigação.
Pesquisar Obtido da Bloomberg Descobriu-se que os usuários do X que usam o Grok postaram mais imagens de nudez ou sexuais questionáveis do que qualquer outro site. Em postagem no X, Musk prometeu “consequências” para quem criasse conteúdo ilegal com a ferramenta. Na sexta-feira, Grok limitou a edição de fotos aos clientes pagantes.
Uma maneira possível de Bonta julgar xAI é uma lei que foi implementado Há apenas duas semanas Criando responsabilidade legal para criação e distribuição Pornografia “deepfake”.
X e xAI parecem violar as disposições dessa lei, conhecida como AB 621, disse Sam Dordulian, que anteriormente trabalhou na unidade de crimes sexuais do gabinete do procurador distrital de Los Angeles, mas hoje trabalha em consultório particular como advogado de pessoas envolvidas em deepfake ou pornografia de vingança.
A deputada Rebecca Bauer-Kahn, autora da lei, disse ao CalMatters em comunicado na semana passada que entrou em contato com os promotores, incluindo o gabinete do procurador-geral e o procurador da cidade de São Francisco, para lembrá-los de que podem agir de acordo com a lei. O AB 621 foi projetado para consertar o que está acontecendo no X, disse Bauer-Kahn.
“Mulheres reais estão tendo suas imagens usadas sem consentimento e os danos psicológicos e de reputação são devastadores”, disse o democrata de San Ramon em comunicado enviado por e-mail. “Crianças menores de idade estão usando suas imagens para criar material de abuso sexual infantil, e esses sites estão facilitando isso conscientemente”.
Uma preocupação global
A investigação de Banata também ocorreu pouco depois Ligue para uma investigação Governo Por Gavin Newsom, os reguladores da UE e da Índia reagem e proíbem o X na Malásia, na Indonésia e potencialmente no Reino Unido. À medida que o aplicativo Grok baixa Crescimento nas App Stores da Apple e do Googles, legisladores e defensores pediram aos fabricantes de smartphones que proibissem o aplicativo.
Não está claro por que Grok fez o recurso daquela maneira e como ele responderá à controvérsia em torno dele, e as respostas podem não estar disponíveis, já que Uma análise foi concluída recentemente É o menos transparente dos principais sistemas de IA disponíveis atualmente. xAI não solicitou nenhuma pergunta sobre a investigação do CalMatters.
Evidências de danos concretos causados por deepfakes estão se acumulando. Em 2024, o FBI alertou sobre seu uso Ferramentas deepfake para extorsão de jovens são um problema crescente Isso resultou em suicídios e suicídios. Foi encontrado em várias auditorias Os dados de treinamento do modelo de IA contêm elementos de abuso sexual infantilPermite-lhes criar imagens pornográficas. UM Pesquisa do Centro para Democracia e Tecnologia de 2024 Descobriu-se que 15% dos estudantes do ensino médio ouviram ou viram imagens sexualmente explícitas de alguém que conheciam na escola no ano passado.
A investigação anunciada hoje é a mais recente medida do procurador-geral para pressionar as empresas de IA a manterem as crianças seguras. No final do ano passado, Bonta aprovou um projeto de lei que impediria que chatbots que falam sobre automutilação e se envolvessem em conversas sexualmente explícitas se comunicassem com menores de 18 anos. Ele também se juntou aos procuradores-gerais de outros 44 estados no envio de uma carta perguntando por que empresas como Meta e OpenAI permitem que seus chatbots tenham conversas sexualmente inadequadas.
A Califórnia aprovou quase meia dúzia de leis desde 2019 para proteger as pessoas contra deepfaking. D A nova lei de Bauer-Kahn A lei de 2019 alterou e fortaleceu a lei, principalmente ao permitir que promotores distritais abrissem processos contra empresas que “ajudam e incentivam de forma imprudente” a distribuição de deepfakes que apresentam nudez ou atividade sexual sem o consentimento da pessoa. Isso significa que a pessoa média pode pedir ao procurador-geral ou ao procurador distrital de onde mora para processá-la. Também aumenta o valor máximo que um juiz pode conceder a uma pessoa de US$ 150.000 para US$ 250.000. De acordo com a lei, um promotor público não é obrigado a provar que a pessoa retratada em imagens nuas ou sexuais geradas por IA sofreu danos reais para levar um caso a tribunal. Sites que se recusarem a cumprir dentro de 30 dias poderão ser multados em US$ 25.000 por violação.
Além dessas medidas, duas Leis de 2024 (AB 1831 E SB 1381) ampliou a definição estatal de pornografia infantil para tornar ilegal a posse ou distribuição de conteúdo de abuso sexual infantil produzido artificialmente. Outro requisito As plataformas de mídia social oferecem às pessoas uma maneira fácil de solicitar a remoção imediata de um deepfake e definem a postagem desse conteúdo como uma forma de roubo de identidade digital. Uma lei da Califórnia que limita o uso de deepfakes nas eleições foi sancionada no ano passado abatido por um juiz federal no verão passado Seguiu-se um processo movido por X e Elon Musk.
Reformas futuras
Cada nova lei estadual ajuda a dar a defensores como Dordulian uma nova maneira de combater os usos nocivos do deepfake, mas ele disse que é preciso fazer mais para proteger as pessoas. Ele disse que seus clientes enfrentam desafios para provar violações das leis existentes porque suas proteções exigem a distribuição de conteúdo explícito por meio de um aplicativo de mensagens ou plataforma de mídia social. Em sua experiência, as pessoas que usam o aplicativo Nudify geralmente se conhecem, então a distribuição nem sempre acontece e, se acontecer, pode ser difícil de provar.
Por exemplo, ela disse, tem uma cliente que trabalha como babá e reclama que ela cuidou do pai das crianças usando fotos que postou no Instagram. Aya encontrou as fotos em seu iPad. A descoberta foi perturbadora e traumatizada para ela, mas como ela não pode usar a lei deepfake, ela tem que processar com base em negligência ou sofrimento emocional, e tem que processar com base em uma lei não projetada para lidar com deepfakes. De forma similar, vítimas disseram à CNBC no ano passado Essa distinção entre a criação e distribuição de deepfakes deixou uma lacuna na lei em vários estados dos EUA.
“A lei tem que acompanhar o que realmente está acontecendo no terreno e o que as mulheres estão vivenciando, algo que o simples ato de criar é em si um problema”, disse Dordulian.
A Califórnia tem estado na vanguarda na aprovação de leis para proteger as pessoas contra deepfakes, mas as leis existentes não estão sendo atualizadas no momento, diz Jennifer Gibson, cofundadora e diretora. PsiuUm grupo foi criado há mais de um ano para fornecer serviços jurídicos personalizados a trabalhadores de tecnologia e IA interessados em denunciar irregularidades. UM Lei da Califórnia que entrou em vigor em 1º de janeiro A IA protege os denunciantes dentro das empresas, mas apenas se estes lidarem com riscos catastróficos que podem matar mais de 50 pessoas ou causar mais de mil milhões de dólares em danos. Se a lei protege as pessoas que trabalham na DeepFax, ex-funcionários X que são No ano passado, o Business Insider detalhou relatos de testemunhas de Groke produzindo material sexualmente explícito ilegal Gibson disse que eles estariam protegidos se compartilhassem as informações com as autoridades.
“É preciso haver muito mais proteção exatamente para esse tipo de situação em que alguém de dentro vê isso iminente, sabe que isso vai acontecer e tem um lugar para denunciá-los, tanto para responsabilizar a empresa quanto para proteger o público”.
