Grandes modelos de linguagem conseguem reconhecer padrões relacionados aos tipos de átomos presentes em um material, mas ainda apresentam dificuldade persistente quando precisam compreender onde esses átomos estão posicionados no espaço.

Essa é a conclusão de um estudo que testou modelos de diferentes tamanhos em tarefas de previsão de propriedades de materiais.

Mais parâmetros não resolveram o problema

A dificuldade continuou aparecendo mesmo em modelos com dezenas de bilhões de parâmetros e após treinamento com grandes conjuntos de estruturas.

Os sistemas conseguem trabalhar relativamente bem com informação simbólica e categórica, mas perdem desempenho quando a geometria tridimensional passa a dominar a tarefa.

Modelos especializados continuam levando vantagem

Arquiteturas desenvolvidas especificamente para representar geometria e relações espaciais superaram os grandes modelos de linguagem em tarefas fortemente dependentes da estrutura.

O resultado é um lembrete importante de que tamanho e generalidade não substituem automaticamente modelos desenhados para determinados tipos de problema.

Na ciência de materiais, prever propriedades depende não apenas de saber quais átomos existem, mas de compreender distâncias, ângulos, vizinhanças e organização tridimensional.

Fonte: Nature Computational Science.