Antevisão: um ELLM, um modelo de linguagem que ensaia no latente antes de falar

Um LLM escolhe o próximo token e descobre depois onde foi parar. Nós construímos um que imagina antes: um ELLM. O nome diz o que o sistema faz: antever. Antes de emitir um token, o modelo roda cada candidato alguns passos à frente no espaço latente, sem decodificar, mede a energia de cada futuro imaginado, e só então decide. O token deixa de ser a decisão e passa a ser a saída. Chamamos o conceito de Latent Rehearsal. As ideias de base são de Yann LeCun. A aplicação ao texto é a nossa parte. Sete das linhas da tabela principal são resultados negativos, e estão lá com o mesmo destaque dos resultados positivos.

Os três pontos

1. Três pilares: um encoder que representa, um modelo de mundo que prevê o próximo estado dado o token, e uma energia que escolhe entre futuros imaginados.
2. Dois nomes, duas coisas: Antevisão é a estrutura. Latent Rehearsal é o conceito que ela realiza.
3. O que é de LeCun e o que é nosso, dito sem rodeio: JEPA, energia, anticolapso e hierarquia são dele. Trazer isso de volta para o texto e manter a cabeça autorregressiva como decodificador é a nossa parte, e as apostilas medem se funciona.

Da apostila, o começo

O que estamos construindo, por que ele não é uma cópia do GPT-2, e qual é a contribuição própria deste projeto — com o que já foi medido, inclusive o que deu errado.

O curso anterior desmontou modelos que já existiam. Este constrói um. A diferença não é de tamanho — o nosso modelo é menor que qualquer um daqueles. A diferença é que aqui cada decisão foi medida, e várias seguem caminhos que a área encontrou depois de 2019, sobre a base que o GPT-2 deixou.

O que ele constrói tem nome: um ELLM, energy-based latent predictive language model — um modelo de linguagem que prevê no espaço latente e decide por energia. Ele mantém a cabeça de tokens de um modelo de linguagem comum e acrescenta duas peças: um preditor que imagina o próximo estado antes de escrever, e uma energia que escolhe entre esses futuros. A apostila 17 explica cada parte do nome e o que já está medido em cada uma.

O nome diz o que o sistema faz: antever. Um modelo de linguagem comum escolhe o próximo token e descobre depois onde foi parar. O nosso, antes de escolher, imagina onde cada candidato o levaria — no espaço latente, sem decodificar — e escolhe pela energia desse futuro imaginado. A peça que faz isso é um modelo de mundo condicionado à ação: dado o estado atual e um token candidato, prevê o estado seguinte. No código ela se chama mundo; a versão anterior, que só previa a direção sem saber a ação, se chama compass e continua no repositório como controle.