Um investigador de uma empresa líder em IA demitiu-se devido a preocupações de que as grandes empresas tecnológicas estejam a correr “fora de controlo” para construir sistemas que possam destruir a humanidade.
Jacob Coxon deixou a Anthropic depois de passar os últimos três anos treinando novos modelos de IA.
Ele afirma que nem a empresa por trás do sistema em nuvem – nem o fabricante do ChatGPT OpenAI, onde trabalhou anteriormente – estão “agindo com responsabilidade” na segurança da IA.
E até alertou que a inteligência artificial poderia “matar todos os humanos” até ao final da década.
Postando no X, ele disse: ‘Eu pedi demissão da Anthropic hoje. Passei os últimos três anos fazendo pesquisas de pré-treinamento tanto no OpenAI quanto no Anthropic.
“Nenhuma das organizações está se comportando de maneira responsável. Eles estão correndo direto para a superinteligência autoengrandecedora e apostando em nossas vidas.
Um pesquisador da Anthropic levantou preocupações de que as grandes empresas de tecnologia estejam correndo “fora de controle” para construir sistemas que possam acabar com a humanidade.
Numa série de tweets explicando a decisão de deixar a Anthropic, Coxon apelou às pessoas para não subestimarem o poder da IA – especialmente se esta se tornar “superinteligente”.
Em resposta a Coxon, o líder científico de alinhamento da Anthropic, Evan Hubinger, disse que a empresa acredita que a IA tem o potencial de matar humanos.
Numa série de tweets explicando a decisão de deixar a Anthropic, Coxon apelou às pessoas para não “subestimarem o poder” da IA – especialmente se esta se tornar “superinteligente”.
Superinteligência é o ponto em que um sistema se torna artificial Mais poderoso do que qualquer indivíduo, empresa ou mesmo nação.
“Em breve serão sistemas sobre-humanos que poderão hackear qualquer coisa, revolucionar qualquer campo da noite para o dia e ganhar poder e riqueza reais. Todos testemunhámos progressos em cada um destes domínios e o progresso não está a abrandar», afirmou Coxon.
“As pessoas que fabricam a IA acreditam sinceramente que ela poderá matar-nos a todos até ao final da década”, disse ele.
‘Isto não é um golpe de marketing. Na verdade, muitos executivos e investigadores seniores acharão compreensível a sua formulação na imprensa – mas ouvi as mesmas pessoas expressarem medo em privado. Nenhuma outra atividade humana representa este nível de perigo”.
Segundo Coxon, o perigo para a Antropia é “bem compreendido”. No entanto, a empresa está “travada na corrida para chegar primeiro”.
Ele explicou: ‘Assumir esta corrida e entrar no ‘fim do jogo’ é uma aposta arrogante de que uma empresa privada (sistema de mensagens) não deveria começar com o Slack. Os esforços para alinhar o impulso devem ter uma enorme confiança de que não existe uma trajectória melhor disponível.’
Como exemplo, o pesquisador destacou o recente ataque Hugging Face, onde uma empresa foi hackeada pela IA desonesta da OpenAI.
Ele disse: ‘Injeções de precaução, como ataques de abraços na boca, tornaram o acordo de ritmo entre os laboratórios dos EUA mais eficaz. Não creio que estejamos no caminho certo para evitar uma corrida global, que pode exigir medidas dispendiosas, como proibições temporárias de melhoria das capacidades dos modelos.’
Concluindo, ele instou outros pesquisadores de IA a “considerarem como serão realmente os próximos anos”.
Hollywood há muito alerta sobre os perigos desta tecnologia em filmes como O Exterminador do Futuro e suas sequências.
Terminator Genisys, o quinto filme da série… Hollywood há muito alerta sobre a ameaça da tecnologia à humanidade.
Coxon perguntou: ‘Você gostaria de conduzir uma mente RL (aprendizado por reforço) superinteligente sem ficar sobrecarregado? Você deveria se curvar porque “está acontecendo de qualquer maneira” – ou o momento deveria exigir condições diferentes?’
Em resposta à postagem, Evan Hubinger, líder de segurança de IA da Anthropic, confirmou que a empresa acredita que a IA tem potencial para matar pessoas.
No X, o Sr. Hubinger disse: ‘Jacob está bem aqui – nós realmente acreditamos de todo o coração que a IA pode matar todos os humanos! Pessoalmente, acho que será >10% na próxima década. Acredito que a Anthropic está fazendo o seu melhor, mas ainda não temos nenhum plano e claramente não estamos no caminho certo para resolver o alinhamento da superinteligência.’
O aviso de Coxon surgiu dias depois de Geoffrey Hinton – um investigador canadiano frequentemente referido como o “padrinho da IA” – ter alertado que os sistemas superinteligentes poderiam “levar à extinção humana”.
“Seríamos muito tolos se desenvolvessemos a superinteligência agora, quando não há consenso científico de que ela possa ser desenvolvida de forma segura e controlada”, disse o Dr. Hinton.
‘Perder o controle para uma IA mais inteligente do que nós pode ser catastrófico e até levar à extinção humana.’
Claude da Anthropic é um dos principais modelos de linguagem de grande porte (LLM), treinado pela coleta de grandes quantidades de texto para compreender e gerar linguagem semelhante à humana e respostas a perguntas.
