Os pais estão soando o alarme sobre vídeos sexuais e violentos gerados por IA que afirmam que o YouTube recomenda aos seus filhos.
A mãe Liz Guiller disse ao Daily Mail que foi “inundada” com conteúdo horrível depois de criar uma conta para seus filhos de um e três anos.
Ele disse: “O filme pode ser horrível, com rostos derretendo, membros desaparecendo e monstros criados descuidadamente que rivalizariam com Silent Hill, exceto para crianças pequenas que assistem se seus pais confiarem no YouTube para curadoria de conteúdo. É realmente assustador.
De acordo com o especialista em IA Jeremy Carrasco, é improvável que Guiller esteja sozinho em sua experiência, e o YouTube pode recomendar regularmente conteúdo assustador gerado por IA para crianças.
Ele conduziu um experimento que, segundo ele, mostrou que clipes perturbadores estavam sendo veiculados por um algoritmo voltado para crianças.
Isso inclui vídeos que mostram representações de abuso infantil em formato de desenho animado, bem como personagens de IA realizando cirurgias grotescas, disparando armas, cometendo atos violentos ou se envolvendo em comportamento sexual.
Carrasco disse que tirou suas conclusões criando uma conta falsa e imitando os hábitos de streaming de uma criança no YouTube para testar quais tipos de vídeos seriam recomendados.
Ele disse ao Daily Mail: “O YouTube poderia dizer que estou interessado em Bluey ou Roblox e ainda sugerir isso na página inicial. Até as miniaturas da página inicial eram horríveis às vezes.
O produtor de vídeo e consultor de IA Jeremy Carrasco disse que criou uma conta fingindo ser uma criança para ver que tipo de conteúdo ele era enviado.
Vídeos perturbadores de IA no YouTube geralmente apresentam personagens humanóides. Neste vídeo, uma gata sufoca seu bebê com um travesseiro antes de jogá-lo de um penhasco
Ele afirmou que a página inicial recomendava claramente conteúdo gerado por IA de canais com nomes como ‘Meowboom’ e ‘MyoKitten007’ do feed de curtas do site no YouTube.
O YouTube disse ao Daily Mail que nenhum dos vídeos sinalizados no teste de Carrasco apareceu no aplicativo YouTube Kids, mas desativou vários canais destacados pelo meio de comunicação após descobrir que violavam as diretrizes da comunidade.
Jack Mallon, porta-voz da plataforma, disse ao Daily Mail: “Para ser claro, este conteúdo não está no aplicativo YouTube Kids. Os pais controlam o que seus filhos assistem no YouTube e devem escolher um nível de restrição de conteúdo específico para a conta de seus filhos durante a configuração.’
Carrasco disse que embora esses vídeos irritantes de IA não apareçam no aplicativo YouTube Kids, a versão normal da plataforma ainda será capaz de dizer se uma criança está assistindo com base no conteúdo que consome.
‘Acho que eles deveriam ser capazes de determinar com algumas ferramentas de idade: ‘Oh, ei, nosso filho de sete anos está assistindo, provavelmente não deveríamos colocar shorts na página inicial porque sabemos que é a coisa saudável a fazer”, disse ele.
‘Eles já têm as ferramentas para fazer isso. Eles poderiam fazer isso amanhã. Também não estou sugerindo que eles impeçam esses usuários de ver vídeos curtos se pesquisarem. Não apenas empurre-os algoritmicamente para as merdas mais prejudiciais.
Canais de curtas gerados por IA começaram a surgir no final do ano passado, à medida que a tecnologia se tornava mais sofisticada.
Neste vídeo de IA, uma mãe furiosa com cabeça de ovelha bate em um gato com um bastão e derrama alcatrão nele.
Desde então, dezenas de canais têm monetizado vídeos gerados por IA com conteúdo violento, perturbador e sexual
“Minha reação imediata foi pensar em como seria horrível se meus filhos vissem isso eles mesmos”, disse Giller ao Daily Mail.
‘Não creio que as crianças pequenas tenham a capacidade de processar o que estão vendo da mesma maneira que os adultos – portanto, é uma falha ridícula da IA para potencialmente confundi-los, assustá-los ou até mesmo normalizar temas perturbadores.’
Guiller fez uma postagem no Reddit no início deste ano que disse estar: ‘Realmente chocado com a quantidade de lixo de IA que derrete o cérebro, como coisas horríveis e diretas.’
No tópico, dezenas de outros pais compartilharam experiências semelhantes com mães australianas e lamentaram a natureza dolorosa e perturbadora do conteúdo que encontraram.
Um pai escreveu: ‘Recentemente fui a uma cabeleireira que tem um estúdio particular e ela trouxe o ano 4/5 porque a escola foi cancelada devido ao tempo e eu não me importei.
‘Mas então ele colocou o YouTube na TV para ele e passou de músicas / vídeos educativos para porcarias estranhas de inteligência artificial que eu assistia tão rápido.’
Outro pai disse: ‘Alguns deles são realmente estranhos. Gostaria de fazer uma captura de tela do combustível do pesadelo que bloqueei.’
Os vídeos de IA também podem ter personagens humanos. Enquanto isso, uma mãe aterrorizada joga seu bebê pela janela do avião acidentado
Liz Guiller ficou ‘horrorizada’ com os vídeos perturbadores gerados por IA que encontrou no YouTube depois de examinar uma conta que criou para seus filhos
Guiller também disse que era ‘aterrorizante’ imaginar assistir aos vídeos de IA que seus filhos encontraram
Este vídeo peculiar apresentando uma versão gerada por IA do famoso jogador de futebol Ronaldo teve um desempenho particularmente bom, obtendo mais de 200.000 curtidas.
Andrew Koepp, psicólogo do desenvolvimento e professor assistente de psicologia aplicada na NYU, explicou ao Daily Mail os danos que tal conteúdo pode causar às crianças.
Ele disse: ‘Os recursos superficiais do vídeo são claramente projetados para atrair crianças com cores brilhantes e personagens exagerados, semelhantes a desenhos animados… mas o conteúdo é claramente muito inapropriado para crianças.’
“Antes dos oito anos, as crianças têm dificuldade em distinguir entre ficção e realidade”, disse Koepp, acrescentando que os vídeos que lhe foram enviados pelo Daily Mail para revisão, “abandono e mutilação, são assuntos que exigem muita sensibilidade”.
A polêmica segue o escândalo ‘Elsagate’ do YouTube no final dos anos 2010, onde os criadores usaram imagens de personagens infantis como Elsa de Frozen ou Homem-Aranha para agir em situações inadequadas com temas violentos e sexuais.
Os vídeos tiveram um bom desempenho porque seus criadores colocaram os nomes dos personagens nos títulos e tags, o que levou o algoritmo a promovê-los para crianças.
O doutor Costantinos Papadamou, cientista da computação e pesquisador, estudou o fenômeno Elsagate e publicou um artigo sobre ele em 2020.
O abuso físico de crianças é um tema comum nesses vídeos gerados por IA
Alguns vídeos incluem imagens perturbadoras de sangue e ferimentos
A questão atual dos vídeos perturbadores de IA é a mais recente iteração de um problema de longa data com o YouTube recomendando vídeos inapropriados para crianças. Essas capturas de tela são de vídeos que fizeram parte da controvérsia ‘Elsagate’ do final dos anos 2010.
em EstudarEle e sua equipe simularam o comportamento de uma criança no YouTube e descobriram que “havia 3,5% de chance de que uma criança que seguisse as recomendações do YouTube encontrasse (clicasse) um vídeo impróprio em cada dez se começasse com um vídeo que aparecesse aleatoriamente nos dez primeiros resultados de uma pesquisa por palavra-chave apropriada para crianças”.
O YouTube fez alterações na plataforma na tentativa de resolver o problema do Elsagate.
Foi adicionado um recurso que exigia que qualquer pessoa que postasse no site clicasse em uma caixa indicando se o vídeo era destinado a crianças, o que ajudou a reduzir o problema.
Papadamou fez a conexão entre Elsagate e o problema atual com conteúdo impróprio de IA e disse ao Daily Mail que estava preocupado com a facilidade com que esses novos vídeos perturbadores de IA poderiam ser criados.
“O problema era grande o suficiente em 2020 com o volume de nossos vídeos, e eles não conseguiam acompanhar porque a maioria dos sistemas estava ligada (sic) a um homem”, disse ele.
‘Você pode imaginar como esses sistemas não conseguem acompanhar o volume atualmente.’
