Um novo modelo baseado em transformador para identificar propriedades de ligas

Identificar as propriedades da liga pode ser caro e demorado. Experimentos envolvendo ligas geralmente requerem vários recursos. O cálculo de ligas também pode se tornar extremamente complicado, com um número aparentemente infinito de configurações de propriedades.

As propriedades da liga podem ser determinadas usando cálculos da Teoria do Funcional da Densidade (DFT); no entanto, este método é limitado e também pode consumir muito tempo no caso de uma liga particularmente complexa. Amir Barati Farimani e sua equipe pretendem reduzir o tempo e o custo desse processo, e seu trabalho recente levou à criação do AlloyBert, uma ferramenta de modelagem projetada para prever as propriedades das ligas.

AlloyBert é um modelo baseado em transformador, o que significa que os pesquisadores inserem descritores simples em inglês para obter o resultado desejado. Os descritores podem incluir informações como a temperatura na qual a liga foi processada ou a composição química de uma liga. O AlloyBert usará então essas informações para prever o módulo de elasticidade ou o limite de escoamento da liga.

Barati Fairmani, professor associado de engenharia mecânica, e sua equipe projetaram especificamente o AlloyBert para reduzir o tempo e o custo normalmente necessários para identificar as propriedades da liga. A maioria dos modelos de aprendizagem de línguas exige que os usuários insiram as informações que possuem usando palavras extremamente precisas, o que é um processo demorado. Ao tornar o AlloyBert um modelo baseado em transformador, os usuários podem ser mais flexíveis com suas entradas.

“Queríamos um modelo que pudesse obter facilmente propriedades físicas específicas sem nos preocuparmos excessivamente com as informações que temos e se estão em um formato específico”, diz Akshat Chaudhari, aluno de mestrado em ciência dos materiais e engenharia “Informações e formatação precisas ainda são importantes, mas o AlloyBert permite um nível muito mais alto de flexibilidade.”

O modelo basic do AlloyBert é o RoBERTa, um codificador pré-existente. O RoBERTa foi utilizado devido ao seu mecanismo de autoatenção, recurso que permite ao modelo julgar a importância de palavras específicas em uma frase. Este mecanismo de autoatenção foi incorporado ao treinamento do AlloyBert, usando dois conjuntos de dados de propriedades da liga. AlloyBert ajustou o modelo RoBERTa. Os resultados do estudo indicaram que os modelos de transformadores podem ser usados ​​como ferramentas eficazes na previsão das propriedades da liga.

AlloyBert atualmente tem dois desvios que a equipe espera investigar mais detalhadamente. A precisão das previsões do AlloyBert nem sempre é consistente com o nível de detalhe da entrada. A equipe previu que quanto mais informações fornecessem ao AlloyBert, mais preciso seria o resultado.

No entanto, as suas experiências indicaram que, em alguns casos, a introdução da menor quantidade de dados resultou num resultado mais preciso. A equipe postula que isso pode ser devido ao treinamento do AlloyBert ser limitado a dois conjuntos de dados.

“Treinar o modelo em um corpus muito grande pode fornecer resultados mais consistentes”, observa Chaudhari.

O segundo desvio foi encontrado porque a equipe de pesquisa empregou duas estratégias de treinamento, uma que envolvia primeiro o pré-treinamento e depois o ajuste fino do modelo, e outro método que envolvia apenas o ajuste fino do modelo. A equipe levantou a hipótese de que o método que emprega pré-treinamento e ajuste fino resultaria em resultados mais precisos. Isso ocorreu uma em cada oito vezes em cada conjunto de dados.

Embora a sua hipótese tenha sido principalmente apoiada, descobriram que, em alguns casos, apenas o ajuste fino do modelo resultou em melhores resultados em comparação com alguns dados que continham mais informações. A equipe prevê que esse desvio pode ocorrer porque o pré-treinamento usou um modelo de linguagem mascarada (MLM). Estudos futuros podem empregar modelos alternativos de pré-treinamento.

No geral, este estudo e o desenvolvimento do AlloyBert abriram as portas para uma série de possibilidades. Além dos dois desvios mencionados, o código AlloyBert pode ser desenvolvido para identificar outros materiais além das ligas. A equipe de Fairmani também prevê o desenvolvimento de um modelo que execute a operação reversa do AlloyBert – ou seja, um modelo que recebe a entrada de uma propriedade da liga e, em seguida, divide os elementos que o compõem.

Os modelos baseados em transformadores em geral estão provando ser uma ferramenta potencialmente valiosa para futuras pesquisas científicas. “Para usos científicos, são necessárias respostas concretas e precisas, e as pesquisas existentes mostram que há um bom escopo para isso. Esses modelos podem ser treinados de forma a fornecer melhores resultados do que os métodos existentes”, explica Chaudhari.

As descobertas são publicado no arXiv servidor de pré-impressão, e o software program da AlloyBert agora está acessível em GitHub.