Quando as pessoas falam cara a cara, cerca de metade da sua atenção é atraída para os movimentos dos lábios. Mesmo assim, os robôs ainda têm dificuldade em mover o rosto de uma forma verossímil. Mesmo as máquinas humanóides mais avançadas muitas vezes dependem de movimentos faciais rígidos e exagerados que, como uma marionete, assumem que têm um rosto.
As pessoas dão muita importância às expressões faciais, especialmente aos movimentos sutis dos lábios. Embora uma caminhada desajeitada ou gestos desajeitados com as mãos possam ser perdoados, mesmo pequenos erros nos movimentos faciais tendem a se destacar imediatamente. Essa sensibilidade contribui para o que os cientistas chamam de “Vale Estranho”, um fenômeno no qual os robôs parecem inertes em vez de animados. O movimento deficiente dos lábios é uma das principais razões pelas quais os robôs podem parecer intimidadores ou emocionalmente monótonos, mas os pesquisadores dizem que isso pode mudar em breve.
Um robô que aprende a mover os lábios
Em 15 de janeiro, uma equipe da Columbia Engineering anunciou um grande avanço na robótica humanóide. Pela primeira vez, os pesquisadores desenvolveram um robô que pode aprender os movimentos dos lábios para falar e cantar. Suas descobertas, publicadas Robótica CientíficaO robô forma palavras em vários idiomas e até canta uma música de seu álbum de estreia gerado por IA, “Hello World_”.
Em vez de depender de regras predefinidas, o robô aprende através da observação. Tudo começou com a descoberta de como controlar o rosto usando 26 motores faciais separados. Para fazer isso, olhou seu reflexo no espelho e depois estudou horas de fala humana e vídeos de canto no YouTube para entender como as pessoas movem os lábios.
“Quanto mais interage com as pessoas, melhor”, disse Hod Lipson, professor de inovação James e Sally Scapa no Departamento de Engenharia Mecânica e diretor do Creative Machine Lab de Columbia, onde a pesquisa foi realizada.
Confira o link para o vídeo “Lip Sinking Robot” abaixo.
O robô está falando sozinho
Criar movimentos labiais com aparência natural em robôs é particularmente difícil por dois motivos principais. Primeiro, requer hardware avançado com material frontal flexível e motores muito menores que devem operar silenciosamente e em perfeita coordenação. Em segundo lugar, os movimentos labiais estão intimamente ligados aos sons da fala, que mudam rapidamente e dependem de sequências complexas de sons.
Os rostos humanos são controlados por dezenas de músculos localizados sob a pele macia, que permitem o movimento natural da fala. A maioria dos robôs humanóides, entretanto, possui faces rígidas com movimentos limitados. Os movimentos dos lábios geralmente são ditados por certas regras, levando a expressões mecânicas e não naturais que causam desconforto.
Para enfrentar esses desafios, a equipe da Columbia projetou uma face robótica flexível que contém um grande número de motores e permite que o robô aprenda a controlar sua própria face. O robô foi colocado em frente a um espelho e experimentou milhares de expressões faciais aleatórias. Assim como uma criança explora seu reflexo, ela aprende gradualmente quais movimentos motores criam o formato do rosto. Este processo depende do que os pesquisadores chamam de modelo de linguagem “visão-para-ação” (VLA).
Aprendendo com a fala e a música humanas
Depois de entender como funciona sua própria boca, o robô viu vídeos de pessoas falando e cantando. O sistema de IA observou como o formato do rosto mudava com diferentes sons, permitindo conectar a entrada de áudio diretamente aos movimentos motores. Com esta combinação de autoaprendizagem e observação humana, o robô pode converter o som em movimentos labiais sincronizados.
A equipe de pesquisa testou o sistema em vários idiomas, estilos de fala e exemplos musicais. Mesmo sem entender o significado do áudio, o robô conseguiu mover os lábios no ritmo dos sons que ouvia.
Os pesquisadores reconhecem que os resultados não são perfeitos. “Tivemos dificuldade especial com palavras difíceis como ‘b’ e palavras estaladiças como ‘w’. Mas essas habilidades provavelmente irão melhorar com o tempo e a prática”, disse Lipson.
Fora da sincronização labial na comunicação real
Os pesquisadores enfatizam que a sincronização labial é apenas uma parte de um objetivo mais amplo. O seu objetivo é dar aos robôs uma forma mais rica e natural de interagir com os humanos.
“Quando as capacidades de sincronização labial são combinadas com IA de conversação, como ChatGPT ou Gemini, o efeito acrescenta uma profundidade totalmente nova à ligação que os robôs fazem com os humanos”, disse Yuhang Hu, que liderou a investigação como parte do seu trabalho de doutoramento. “Quanto mais os robôs veem as pessoas conversando, melhor eles conseguem imitar expressões faciais com as quais podemos nos conectar emocionalmente.”
“Quanto mais longa a janela de contexto de conversação, mais sensíveis ao contexto serão esses gestos”, acrescentou Hu.
Expressões faciais como o elo perdido
A equipe de pesquisa acredita que a expressão emocional através do rosto representa uma grande lacuna na robótica atual.
“A maior parte da robótica humanóide hoje em dia concentra-se no movimento das pernas e dos braços para atividades como caminhar e agarrar”, disse Lipson. “Mas o afeto facial é igualmente importante para qualquer aplicação robótica que envolva interação humana.”
Lipson e Hu esperam que as expressões faciais realistas se tornem cada vez mais importantes à medida que os robôs humanóides são introduzidos no entretenimento, na educação, na saúde e no cuidado aos idosos. Alguns economistas estimam que mais de um bilhão de robôs humanóides poderiam ser construídos na próxima década.
“Não há futuro onde todos esses robôs humanóides não tenham rosto. E quando eles finalmente tiverem rosto, eles terão que mover os olhos e os lábios corretamente, ou serão anormais para sempre”, disse Lipson.
Hu acrescenta: “Nós, humanos, estamos programados dessa forma e não podemos evitar. Estamos perto de cruzar o vale misterioso”.
Risco e progresso responsável
O trabalho baseia-se nos esforços de longa data de Lipson para ajudar os robôs a estabelecer conexões mais naturais com os humanos, aprendendo comportamentos faciais como sorrisos, contato visual e fala. Ele argumenta que essas habilidades deveriam ser aprendidas por meio da observação, em vez de serem programadas por meio de instrução estrita.
“Algo mágico acontece quando um robô aprende a rir ou falar vendo e ouvindo pessoas”, disse ele. “Sou um roboticista triste, mas não consigo sorrir de volta para um robô que sorri espontaneamente para mim.”
Hu enfatizou que o rosto humano é uma das ferramentas mais poderosas de comunicação e os cientistas estão apenas começando a entender como funciona.
“Robôs com essas capacidades obviamente terão uma melhor capacidade de se conectar com humanos porque uma parte tão significativa de nossa comunicação envolve linguagem corporal facial, e todo esse canal ainda está inexplorado”, disse Hu.
Os pesquisadores também reconhecem as preocupações éticas decorrentes da criação de máquinas que possam interagir emocionalmente com os humanos.
“Esta será uma tecnologia poderosa. Temos que avançar devagar e com cuidado, para que possamos colher os benefícios e ao mesmo tempo minimizar os riscos”, disse Lipson.
