Energy-based latent predictive language model. O nome certo para o que a Antevisão constrói: um modelo de linguagem que prevê no espaço latente e decide por energia. Esta apostila explica cada palavra do nome, mostra o que já está medido em cada uma e o que o nome não promete.
Até aqui esta coleção chamou o sistema de "modelo de linguagem", e às vezes o comparou com "um LLM". As duas formas deixam escapar o que ele tem de diferente.
O L inicial de LLM quer dizer large: o nome descreve a escala. E o que um LLM faz, por construção, é escolher o próximo token pela probabilidade que uma passada para a frente atribui a cada candidato. O modelo desta coleção não é grande — o mini tem 7,4 milhões de parâmetros — e o que o distingue não é o tamanho, e sim onde ele prevê e como decide.
Um ELLM — Energy-based Latent predictive Language Model, ou modelo de linguagem preditivo latente baseado em energia — é um modelo de linguagem que, antes de emitir um token, prevê no espaço latente para onde cada candidato levaria o estado, e escolhe minimizando uma energia sobre esses futuros previstos. A cabeça de tokens continua lá: é ela que transforma o estado em texto.
O conceito de Latent Rehearsal (ensaiar no latente antes de falar) continua sendo o nome da ideia, e Antevisão continua sendo o nome da estrutura. ELLM é o nome da classe de modelo a que essa estrutura pertence. As ideias de base — modelos de energia, prever no latente, JEPA — são de Yann LeCun; o nome e a aplicação ao texto são a parte deste projeto.
| parte do nome | o que quer dizer | a peça do projeto | onde foi medida |
|---|---|---|---|
| Energy-based | a escolha do token sai da minimização de uma energia — rumo, plausibilidade e guardrails somados —, não só da probabilidade | o leme e os modos de inferência (energy, gradient, mpc) | 12, 16 |
| Latent | a previsão acontece no espaço dos estados internos, não no espaço do texto: nada é decodificado enquanto o modelo imagina | os estados ocultos do encoder, nos níveis 1 e 2 | 09, 13 |
| predictive | há uma peça que prevê o próximo estado dado o estado atual e um token candidato — o modelo de mundo | o preditor mundo, condicionado à ação | 05, 13, 15 |
| Language Model | a saída continua sendo texto, token a token, e o modelo continua sendo treinado para prever o próximo token | a cabeça de tokens, como decodificador, guardrail e régua comparável | 02, 15 |
A comparação abaixo descreve o mecanismo de cada um, não uma disputa. Um ELLM contém a peça central de um LLM — a cabeça que prevê o próximo token — e acrescenta outras em volta dela.
| pergunta | LLM | ELLM (este projeto) |
|---|---|---|
| o que ele prevê | a distribuição do próximo token | a distribuição do próximo token e o próximo estado latente, para cada candidato |
| como escolhe | amostra ou pega o mais provável, numa passada para a frente | imagina o futuro de cada candidato e escolhe pela menor energia |
| como se controla | pelo prompt e pelo ajuste fino | pelo prompt, e também por um rumo e por guardrails que entram na energia de cada passo |
| o risco de colapso | não se aplica ao objetivo de próximo token | existe no modelo de mundo, e é controlado por regularização (16) |
| como se mede | perplexidade, bits por caractere | as mesmas, mais energia, cobertura da busca e volume de energia baixa |
O nome só vale se cada parte dele tiver número. Estes são os resultados que sustentam a definição, todos de apostilas anteriores:
| parte | o que foi medido | resultado | apostila |
|---|---|---|---|
| Energy-based | a melhor configuração do leme (cabeça aprendida, custo no estado real, γ = 0,1) contra a geração livre | afinidade 0,355 contra 0,256, com PPL 36,7 contra 48,5 | 12 |
| Energy-based | o guardrail na energia, aplicado só aos estados imaginados (cabeça mista, γc = 3), num prompt que puxa números | 0,0% de dígitos, contra 50–56% sem guardrail | 13 §5 |
| Latent + predictive | o custo do modelo de mundo ao gerador com o corpus completo, validação fixa | +1,77% no mini (3 sementes) e +4,92% no pequeno (2 sementes) | 15 §5 e 19 |
| Latent + predictive | a energia de dependência detecta ordem violada sem receber o token | +130% a +142%, contra +38% do erro simples | 13 §11 |
| Latent + predictive | o volume do espaço com energia baixa, regularizado contra atalho | energia mediana de um ponto sorteado cerca de 4× mais barata no atalho (razão 3,6–4,1) | 16 §8 e §10 |
| Language Model | o tamanho de todo o modelo de mundo dentro do modelo | 7% dos parâmetros | 00 |
A apostila 16 mediu um limite importante da parte energy-based. Com o peso padrão do guardrail (γ = 1), a energia é dominada pela probabilidade da própria cabeça de tokens, e o mínimo da energia fica entre os 8 tokens mais prováveis em 100% das posições — e é o próprio token mais provável em 90,6% delas. A decisão só passa a ser de fato da energia quando o rumo tem peso (γ baixo). E a apostila 18 mediu o outro lado: com γ baixo, procurar melhor — no vocabulário inteiro ou dentro do núcleo da política — não melhora o texto; ele cai no mesmo ponto de afinidade e perplexidade que a lista curta com γ menor. Um ELLM, portanto, é um modelo que pode decidir por energia; quanto ele decide depende da configuração, e isso está medido, não suposto.
mini, de 7,4 milhões de parâmetros.Esta apostila não traz rodada nova: ela dá nome ao que as anteriores mediram, e aponta onde cada número está.