ELLM: o nome certo para um modelo de linguagem que prevê no latente e decide por energia

Chamei o meu modelo de LLM por meses. O nome estava errado — e não por causa do tamanho. O L de LLM quer dizer large, e o que um LLM faz é escolher o próximo token pela probabilidade de uma passada para a frente. O meu modelo tem 7,4 milhões de parâmetros e faz outra coisa antes de escrever: imagina, no espaço latente, para onde cada candidato levaria o texto, e escolhe pela menor energia. O nome certo para isso é ELLM: energy-based latent predictive language model. Cada parte do nome tem um número medido. E uma delas tem um limite que também está medido: com o ajuste padrão, o token de menor energia é o próprio token mais provável em 90,6% das posições.

Os três pontos

1. O L inicial de LLM é de large, e descreve escala. Um ELLM se define por outra coisa: prevê o próximo estado no espaço latente para cada candidato e escolhe pela menor energia. A cabeça de tokens continua lá, escrevendo o texto.
2. Cada parte do nome tem medida: o leme por energia leva a afinidade de 0,256 para 0,355 com perplexidade menor; o modelo de mundo, com dados suficientes e três sementes, custa ao gerador cerca de 1%, dentro do ruído; no regularizado, a energia de um ponto qualquer do espaço é cerca de quatro vezes mais cara que no atalho.
3. O limite também está medido: com o peso padrão do guardrail, o token de menor energia é o mais provável em 90,6% das posições. Um ELLM pode decidir por energia; quanto ele decide depende da configuração.

Da apostila, o começo

Energy-based latent predictive language model. O nome certo para o que a Antevisão constrói: um modelo de linguagem que prevê no espaço latente e decide por energia. Esta apostila explica cada palavra do nome, mostra o que já está medido em cada uma e o que o nome não promete.

Até aqui esta coleção chamou o sistema de "modelo de linguagem", e às vezes o comparou com "um LLM". As duas formas deixam escapar o que ele tem de diferente.

O L inicial de LLM quer dizer large: o nome descreve a escala. E o que um LLM faz, por construção, é escolher o próximo token pela probabilidade que uma passada para a frente atribui a cada candidato. O modelo desta coleção não é grande — o mini tem 7,4 milhões de parâmetros — e o que o distingue não é o tamanho, e sim onde ele prevê e como decide.

Um ELLM — Energy-based Latent predictive Language Model, ou modelo de linguagem preditivo latente baseado em energia — é um modelo de linguagem que, antes de emitir um token, prevê no espaço latente para onde cada candidato levaria o estado, e escolhe minimizando uma energia sobre esses futuros previstos. A cabeça de tokens continua lá: é ela que transforma o estado em texto.