O processo de descobrir as moléculas características essenciais para a produção de novos medicamentos e materiais é complexo e caro, um grande número de recursos e trabalho humano assumem trabalho humano para restringir o enorme espaço de possíveis candidatos.
Modelos de idiomas grandes (LLM) como o ChatGPT podem florescer esse processo, mas permite uma compreensão e discutindo LLM sobre átomos e ligações que formam moléculas, da mesma maneira que funciona com as palavras.
Pesquisadores do MIT e MIT-IBM Watson AI Lab criaram um método comprometido que aprimora um LLM com outros modelos de aprendizado de máquina conhecidos como modelos baseados em gráficos, que são especialmente projetados para criar e prever estruturas moleculares.
Seu método é nomear um LLM base para explicar as questões de linguagem natural para especificar as propriedades moleculares desejadas. Ele muda automaticamente para os módulos Base LLM e AI baseado em gráfico para projetar uma molécula, explicar a lógica e criar um plano passo a passo para acumulá-lo. Ele integra o texto, gráficos e síntese, geração de etapas, combinando palavras, gráficos e reações como um vocabulário geral para consumir LLM.
Ao comparar a abordagem baseada em LLM existente, essa técnica multimodal é produzida moléculas que correspondem à especificação do usuário e têm maior probabilidade de ter um plano de síntese válido, melhorar o sucesso de 5 % para 35 %.
Ele também excedeu o LLM, que é 10 vezes maior em tamanho e apenas as moléculas e rotas de síntese de design com apresentações baseadas em texto, a chave para o sucesso do novo sistema para sugerir multimodidade.
“Espera-se que, do final até o final, onde possamos projetar automaticamente automaticamente um design molecular e todo o processo. Se um LLM só puder responder em alguns segundos, será um enorme tempo consumido para empresas farmacêuticas”, disse Michael San, um estudante de pós-graduação e uma técnica dessa técnica.
Os co-autores da Sun incluem Gang Liu, um estudante de pós-graduação da Universidade de Notre Dame; Ozesich Matusik, professor de engenharia elétrica e ciência da computação do MIT, que liderou o Laboratório de Ciência da Computação e Inteligência Artificial (CSAIL) e liderou o design computacional e o Fabat Group; Megh Jiang, professora associada da Universidade de Notre Dame; E o autor sênior G. Chen, MIT-IBM Watson é um cientista sênior de pesquisa e diretor do laboratório da IA. A pesquisa será apresentada na Conferência Internacional sobre Apresentação de Pesquisa.
O melhor dos dois mundos
Os grandes modelos de linguagem não são construídos para entender os resumos de química, essa é uma razão pela qual eles lutam contra o projeto molecular oposto, um processo de detecção da estrutura molecular que funções ou características específicas.
O LLMS converte o texto em uma apresentação token, que eles usam consistentemente para prever a próxima palavra em uma frase. No entanto, as moléculas são “estruturas de gráficos”, compostas por átomos e ligações sem nenhuma sequência específica, dificulta a codificação como um texto hierárquico.
Por outro lado, os modelos de IA fortes baseados em gráficos apresentam átomos e ligações moleculares como nós e bordas inter-associados de um gráfico. Embora esses modelos sejam populares para o design molecular oposto, eles precisam de entradas complexas, não entendem a linguagem natural e o resultado do rendimento que pode ser difícil de explicar.
Os pesquisadores do MIT combinaram um LLM com modelos de IA baseados em gráficos com uma estrutura combinada que obtém o melhor dos dois mundos.
O lamol, que é um modelo de linguagem grande para a descoberta molecular, é uma solicitação de idioma simples para moléculas de recurso específicas usando um LLM base para o entendimento da consulta de um usuário.
Por exemplo, um usuário provavelmente está procurando uma molécula que possa entrar em barreiras no sangue e interromper o HIV, já que possui um peso molecular de 209 e propriedades específicas de ligação.
Os LLMs prevêem o texto em resposta à consulta, ele alterna entre os módulos gráficos.
Uma entrada do módulo usa um modelo de propagação do gráfico para gerar estrutura molecular condicionada com o requisito. O segundo módulo usa a rede neural gráfica para codificar a estrutura molecular produzida para consumir LLMs. O módulo gráfico final prevê uma resposta gráfica que pega uma estrutura molecular intermediária como entrada e prevê uma etapa de resposta, procurando o conjunto correto de etapas para criar moléculas a partir dos blocos básicos de construção.
Os pesquisadores criaram um novo tipo de token de gatilho chamado LLM para ativar cada módulo. Quando o LLM prevê um token de gatilho de “design”, ele muda para o módulo que esboça uma estrutura molecular e, quando prevê um token de gatilho “retro”, ele alterna o plano retrossente para o módulo que prevê a próxima resposta.
“A beleza de seu LLM é que o módulo é alimentado antes de ativar um módulo específico, o módulo está aprendendo a lidar com o módulo de uma maneira que seja compatível com o que aconteceu antes”.
Da mesma maneira, a saída de cada módulo é codificada e a geração do LLM é retornada ao processo, para que ele entenda o que todo módulo fez e continuará prevendo o token com base nessas informações.
A melhor estrutura molecular simples e simples
No final, o llamol cria uma imagem da estrutura molecular, um detalhe de texto da molécula e um plano de síntese de etapa -que fornece os detalhes de como ele pode criar em reações químicas separadas.
No teste associado ao design da especificação do usuário, o LLMOL STANDARD LLM, quatro LLMS sutis e um método sofisticado de domínio específico excederam. Ao mesmo tempo, criou moléculas de alta qualidade e aumentou a taxa de sucesso do plano retrossente de 5 % para 35 %, o que significa sua estrutura simples e um bloco de construção de baixo custo.
Liu diz: “à sua maneira, luta para determinar como os LLMs podem acumular moléculas porque requer muito plano de várias etapas. Nosso método pode criar uma melhor estrutura molecular que é mais fácil de sintetizar”, diz Liu.
Para treinar e avaliar o Llamol, os pesquisadores criaram dois conjuntos de dados do zero, pois não há detalhes suficientes sobre os conjuntos de dados existentes da molécula. Eles aumentaram vários milhares de moléculas de patente com detalhes naturais de linguagem natural expostos e detalhes personalizados com modelos.
O conjunto de dados que eles criaram para a melodia fina do LLM inclui 10 recursos moleculares, portanto, um limite para a lamol é treinado para projetar as moléculas apenas considerando os recursos de 10 dígitos.
No futuro, os pesquisadores desejam generalizar o llamol para incluir qualquer propriedade molecular. Além disso, eles planejam melhorar os módulos gráficos para aumentar a taxa de sucesso em Llamol.
E, a longo prazo, eles esperam usar essa abordagem para superar as moléculas desse método, criando LLMs multimodais que podem lidar com outros tipos de dados baseados em gráficos, como sensores inter-associados ou transações de mercado financeiro.
Chen diz: “Llamol mostra o potencial de usar modelos de linguagem grandes como uma interface de dados complexos além do texto, e esperamos que eles sejam uma base que entre em contato com outros algoritmos de IA para resolver um gráfico”, diz Chen.
Este estudo foi financiado pelo MIT-IBM Watson AI Lab, pela National Science Foundation e pelo Escritório de Pesquisa Naval.
