Modelos de inteligência artificial de texto para vídeo como o OpenAI Sora estão sendo convertidos rapidamente em nossos olhos, eles lutaram para criar vídeos convertidos. É mais difícil para os sistemas de IA produzir ou imitar flores para sistemas de IA do que outros tipos de produção de vídeo, pois requer conhecimento do mundo físico e pode variar bastante.
Mas agora, esses modelos deram um passo evolutivo.
Cientistas da computação da Universidade de Rochester, Universidade de Pequim, Universidade da Califórnia, Santa Cruise e Universidade Nacional de Cingapura criaram um novo modelo de texto para vídeo da IA que aprendeu o conhecimento da física do mundo real desde os vídeos de tempos em tempos. A equipe descreve seu modelo, o mágico em um trabalho de pesquisa publicado Análise de padrões e transação de sabedoria da máquina IEEEO
“A inteligência artificial foi criada para tentar entender o mundo real e imitar as atividades e eventos que ocorreram”, Zinfa Huang, um estudante de doutorado, está entre os autores deste artigo, supervisionado pelo professor Jaibo Luo de Ciência da Computação em Rochester. “Um passo em direção à IA durante o tempo mágico que pode imitar as características físicas, químicas, biológicas ou sociais do mundo ao nosso redor”.
Os modelos anteriores fizeram vídeos que geralmente têm velocidade limitada e variação fraca. Para treinar modelos de IA de maneira mais eficaz para duplicar o processo de metáfora, os pesquisadores criaram um conjunto de dados de alta qualidade de mais de 2.000 prazos com legendas detalhadas.
Atualmente, a versão mágica de rede de U de código aberto produz clipes de dois segundos, 512-512-pixels (8 quadros por segundo) e, com ele, uma arquitetura de transformador de defusão o expande em clipes de dez segundos. O modelo pode ser usado para imitar os edifícios que passam por construção ou assadeira de pão no forno, não apenas metáforas biológicas.
No entanto, os vídeos gerados podem ser aparentemente interessantes e divertidos de jogar, os pesquisadores o veem como um passo importante em direção a modelos mais sofisticados que podem fornecer equipamentos importantes para os cientistas.
Huang diz: “Nossa esperança de que qualquer dia, os biólogos possam usar o vídeo do gerador para acelerar a pesquisa inicial de idéias”, disse Huang. “Embora os exames físicos sejam essenciais para a verificação final, as simulações corretas podem reduzir o ciclo de recorrência e reduzir o número de testes ao vivo necessários”.
