Engenheiros da Universidade de Stanford, da Universidade Carnegie Mellon, da Universidade da Pensilvânia e do Instituto de Tecnologia de Massachusetts trabalharam com a Skywater Technologies, uma fundição de semicondutores puros exclusivamente baseada nos EUA, para desenvolver um novo chip de computador multicamadas. A equipe afirma que sua arquitetura pode marcar uma grande mudança no hardware de IA e reforçar a inovação doméstica em semicondutores.
Ao contrário da maioria dos chips atuais, que são em sua maioria planos e 2D, este protótipo foi projetado para subir. As peças ultrafinas são empilhadas como os andares de um edifício alto, e a fiação vertical funciona como muitos elevadores de alta velocidade que transferem grandes quantidades de dados rapidamente. Com um número recorde de interconexões verticais e um layout bem entrelaçado que reúne memória e unidades de computação, o design evita a lentidão que limitou o progresso em chips planos. Em testes e simulações de hardware, o chip 3D supera o chip 2D em aproximadamente uma ordem de grandeza.
Os pesquisadores já produziram chips 3D experimentais em laboratórios acadêmicos, mas a equipe diz que esta é a primeira vez que mostram melhorias claras de desempenho e são produzidos em uma fundição comercial. “Isso abre a porta para uma nova era de fabricação e inovação de chips”, disse Subhashish Mitra, professor de engenharia elétrica e professor de ciência da computação na Universidade de Stanford, e investigador principal de um novo artigo apresentado na 71ª edição anual do IEEE International Electron. “Avanços como este são a forma como podemos melhorar o desempenho do hardware em 1.000 vezes que os futuros sistemas de IA exigirão.”
Por que os chips planos têm dificuldades com a IA moderna
Grandes modelos de IA, como ChatGPT e Cloud, transportam constantemente grandes quantidades de dados entre a memória, que contém informações, e as unidades de computação que as processam.
Nos chips 2D convencionais, tudo fica em uma superfície e a memória é limitada e espalhada, de modo que os dados são forçados a passar por um pequeno número de caminhos longos e lotados. As peças de computação podem funcionar muito mais rápido do que fornecem dados, e o chip não consegue manter memória suficiente. Espere resultados com frequência. Os engenheiros chamam esse problema de “parede de memória”, onde a velocidade de processamento ultrapassa a capacidade do chip de alimentar dados.
Durante anos, os fabricantes de chips resistiram à parede da memória, encolhendo os transistores, os minúsculos interruptores que controlam os cálculos e o armazenamento de dados, e empacotando cada vez mais deles em cada chip. Mas os pesquisadores dizem que o método está próximo de um limite físico rígido, conhecido como “parede de miniaturização”.
O novo design visa superar ambas as limitações através da construção ascendente. “Ao integrar verticalmente a memória e a computação, podemos transferir muito mais informação rapidamente, tal como os bancos de elevadores num arranha-céu permitem que muitos ocupantes viajem entre andares simultaneamente”, disse Tathagata Srimani, professor assistente de engenharia eléctrica e informática na Universidade Carnegie Mellon, autor sénior do artigo, que começou como bolseiro.
“As paredes de memória e as paredes de miniaturização formam uma combinação mortal”, diz Robert M. Redway, professor assistente de engenharia elétrica e de sistemas na Universidade da Pensilvânia e coautor do estudo “Atacámos isto integrando firmemente a memória e a lógica e depois construindo para cima a uma densidade muito elevada. É como a Manhattan da computação – podemos colocar mais pessoas em menos espaço.”
Como os chips 3D monolíticos são feitos
Muitos esforços anteriores de chips 3D seguiram um caminho mais simples, empilhando chips separados. Isto pode ajudar, mas as ligações entre as camadas são muitas vezes relativamente difíceis, limitadas em número e podem tornar-se gargalos.
Este grupo usou uma abordagem diferente. Em vez de fazer chips separados e juntá-los, eles constroem cada nova camada diretamente sobre a anterior em um fluxo contínuo. Este método, conhecido como integração 3D “monolítica”, utiliza temperaturas suficientemente baixas para evitar danos aos circuitos já construídos por baixo. Isso torna possível compactar as camadas com mais firmeza e criar conexões muito mais densas entre elas.
Um ponto chave, dizem os pesquisadores, é que todo o processo foi feito em uma fundição comercial nacional de silício. “Transformar um conceito acadêmico sofisticado em algo que possa ser incorporado em uma fábrica comercial é um enorme desafio”, disse o coautor Mark Nelson, vice-presidente de operações de desenvolvimento de tecnologia da Skywater Technologies. “Isso mostra que essas arquiteturas avançadas não são apenas possíveis no laboratório – elas podem ser construídas internamente, na escala que a América precisa para estar na vanguarda da inovação em semicondutores”.
Ganhos de desempenho e o que vem a seguir para hardware de IA
Nos primeiros testes de hardware, o protótipo superou chips 2D comparáveis em cerca de quatro vezes. As simulações da equipe sugerem ganhos ainda maiores à medida que o design fica mais alto, com mais camadas empilhadas de memória e computação. Com camadas adicionais, os modelos mostram uma melhoria de doze vezes nas cargas de trabalho reais de IA, incluindo cargas de trabalho derivadas do modelo LLaMA de código aberto da Mater.
Os pesquisadores também destacaram uma longa gama de recompensas. Eles dizem que a arquitetura oferece um caminho prático para uma melhoria de 100 a 1.000 vezes no produto de atraso de energia (EDP), uma métrica que combina velocidade e eficiência energética. Ao reduzir a distância que os dados devem percorrer e ao adicionar mais rotas verticais para movimentação, o chip pode aumentar o rendimento e, ao mesmo tempo, reduzir a energia por operação, uma combinação que é difícil de conseguir com designs planos convencionais.
A equipe afirma que a importância do trabalho não é apenas a velocidade. Ao demonstrar que os chips 3D monolíticos podem ser fabricados nos EUA, argumentam que isso fornece um modelo para uma nova era de inovação de hardware nacional, onde os chips mais avançados podem ser concebidos e fabricados em solo americano.
Eles também dizem que a mudança para a integração 3D vertical e monolítica exigirá uma nova geração de engenheiros treinados nesta abordagem, assim como o boom dos circuitos integrados da década de 1980 foi alimentado por estudantes que aprenderam o design e a fabricação de chips em laboratórios dos EUA. Por meio de esforços de colaboração e financiamento, incluindo o Microelectronics Commons California-Pacific-Northwest AI Hardware Hub (Northwest-AI-Hub), estudantes e pesquisadores já estão se preparando para promover a inovação em semicondutores americanos.
“Esse tipo de avanço tem definitivamente a ver com desempenho”, disse H.S. Philip Wong, Willard R. e Inez Kerr Bell Professor da Escola de Engenharia de Stanford e Investigador Principal do Northwest-AI-Hub. “Mas também tratam de capacidades. Se pudermos fabricar chips 3D avançados, poderemos inovar mais rapidamente, responder mais rapidamente e moldar o futuro do hardware de IA.”
A pesquisa ocorreu na Escola de Engenharia da Universidade de Stanford, na Faculdade de Engenharia da Universidade Carnegie Mellon, na Escola de Engenharia e Ciências Aplicadas da Universidade da Pensilvânia e no Instituto de Tecnologia de Massachusetts, e toda a fabricação foi concluída na fundição da Skywater Technology em Bloomington, Minnesota. O apoio veio da Agência de Projetos de Pesquisa Avançada de Defesa, do Programa de Bolsas de Pesquisa de Pós-Graduação da Fundação Nacional de Ciência dos EUA, da Samsung, do Stanford Precourt Institute for Energy, da Stanford SystemX Alliance, do Microelectronics Commons AI Hardware Hub do Departamento de Guerra, do Departamento de Energia dos EUA e da National Science Foundation da National Science Foundation (2congram 2congram 4).
Coautores adicionais de Stanford incluem Suhyung Choi, Samuel Dayo, Andrew Bechdolt, Shengman Li, Dennis T. Rich e RH Young. Autores adicionais são da CMU e do MIT.
