O mínimo
e o volume

1 As duas frases

Do trecho da palestra sobre modelos de energia, duas afirmações são checáveis e nunca tinham sido checadas aqui.

A primeira é sobre inferência. "Inference by optimization, not by forward propagation." Dado um x, os y compatíveis são os que minimizam a energia; achá-los é uma busca, não uma passada para a frente. E ele insiste no que isso implica: "there's no single y for a given x — it's a relation, not a function", e portanto "you can give me multiple answers".

A segunda é sobre treino. "To train an energy-based model you have to prevent collapse. The collapse problem would be manifested by the energy function being flat everywhere." E as duas saídas: a contrastiva, "you generate points outside the region of data and you push the energy up"; e a regularizada, que ele prefere, "minimizing the volume of space that can take low energy".

2 O conjunto onde se procura

O planejador do modo energia (server/ours.py) fazia assim, a cada token: pegava os k tokens mais prováveis segundo a cabeça de tokens, imaginava cada um no espaço latente e os reordenava pela energia. A pergunta que faltava é simples: o mínimo verdadeiro da energia estava dentro dessa lista?

Se estava sempre, o atalho é inofensivo e a discussão acaba. Se não estava, o que chamávamos de "inferência por otimização" era uma reordenação de uma lista que a propagação direta já tinha fechado — e o nome estava errado.

O script model/inference.py responde isso com o argmin exato sobre o vocabulário inteiro, e mede três coisas: a cobertura (com que frequência o mínimo exato está no top-k), a energia perdida (quanto a aproximação deixa na mesa) e quantas respostas empatam perto do mínimo.

3 Energia de dependência: a política erra o mínimo em 70% das posições

A energia de dependência é a da apostila 13: dado o par real (z_t, z_t+1), qual ação explica melhor o alvo. E(z_t, z′) = min_a ‖Pred(z_t, e_a) − z′‖² Não há termo de plausibilidade: é o modelo de mundo sozinho.

Com os oito candidatos que a apostila 13 usou, o mínimo verdadeiro estava fora da lista em 70% das posições, e a energia relatada era o dobro da real. Nem com 128 candidatos — dezesseis vezes mais caro — a cobertura passa de metade. Isso não invalida os números da 13, que mediam outra coisa (se a energia sobe numa violação, e sobe), mas invalida a leitura de que aquele mínimo era o mínimo.

4 Energia da tarefa: depende inteiramente do peso do guardrail

O gerador não usa a energia de dependência. Ele usa a da tarefa, que tem dois termos: o rumo e a plausibilidade. E(a) = 1 − cos(Pred(z_t, e_a), rumo) + γ · (−log p(a)) O segundo termo sai da mesma cabeça de tokens que produz o top-k. Então o peso γ decide se a pergunta faz sentido — e a resposta muda de ponta a ponta.

Leia as duas linhas extremas juntas, porque elas formam uma tesoura:

• Com γ = 1, o padrão, a cobertura do top-8 é 100%. O atalho é perfeito. Mas o motivo não é que a busca funcione: é que a energia virou, em quase toda a sua massa, o negativo do log da probabilidade — ou seja, a própria política. Minimizar essa energia e ordenar por probabilidade são quase a mesma operação. O leme concorda com a política porque quase não há leme.
• Com γ = 0, onde só o rumo pesa, a cobertura é zero até o top-32. Em 96 posições, nenhuma vez o token que minimiza o rumo estava entre os 32 mais prováveis. Aqui existe leme, e a lista de candidatos nunca o contém.

Entre os dois extremos não há um ponto confortável, há um preço: γ = 0,1, que a apostila 12 já apontava como "o valor que dá voz ao rumo", deixa 14,6% das posições sem o mínimo no top-8. Ou a energia é dominada pela plausibilidade e planejar não muda quase nada, ou o rumo tem voz e o conjunto de candidatos passa longe do mínimo. As duas pontas esvaziam a frase da palestra, por motivos opostos.

5 Relação, não função: quantas respostas empatam

A outra metade da frase é que não existe a resposta. Com o mínimo exato em mãos, dá para contar quantas ações ficam a menos de 1%, 5% e 10% dele.

A leitura é direta e é a da palestra: quanto mais a energia é só o rumo, mais ela descreve um conjunto; quanto mais ela é a política, mais ela vira função. Com γ = 1 há praticamente uma resposta única — o que é outro jeito de dizer que aquilo não é mais um modelo de energia, é um modelo probabilístico, que a própria fala classifica como o caso particular.

Um exemplo concreto, na mesma posição, mostra os dois lados. O contexto termina em our mindset,” e o token que de fato veio foi Ash. Pela energia de dependência, as cinco ações de menor energia são ro, pl, tr, pr, gl, todas entre 0,1628 e 0,1648 — cinco começos de sílaba que levam o estado quase ao mesmo lugar, e nenhum deles é o token real. Pela energia da tarefa com γ = 0, as cinco melhores são ac, oc, ú, v, í: fragmentos que apontam para o rumo em português e que nenhuma política escolheria. O mínimo do rumo, sozinho, é quase sempre um token implausível — e é por isso que o termo de plausibilidade existe. O erro não era tê-lo; era deixá-lo tão pesado que ele escolhe sozinho.

6 O conserto, e o que ele custa

Duas mudanças, as duas aditivas — o comportamento antigo continua sendo o padrão.

O custo é uma passada em lote de 16.392 × 256 por token gerado, contra 8 × 256 antes. É cara, e por isso não virou padrão: ela existe para medir quanto o atalho custa em cada configuração, e para ser ligada quando o rumo importa mais que a velocidade.

7 A paisagem é plana?

A segunda frase. Colapso, na definição da palestra, não é o modelo errar: é a energia ficar igual em todo lugar. Um modelo assim passa em qualquer teste de "energia baixa nos dados", porque ela é baixa em tudo — e não serve para nada, porque não distingue.

O teste é direto: medir a energia nos pares reais e em alvos fora da região dos dados. Não precisamos inventar pontos: os negativos mais duros são estados reais no lugar errado — mesma norma, mesma geometria, só não são o alvo daquele z_t.

Não é plana. O vale dos dados está dez vezes abaixo da borda, e a graduação faz sentido sozinha: sete posições à frente é o alvo menos errado de todos (+289,6%), porque o texto ainda é o mesmo; ruído puro é o mais caro. Uma paisagem colapsada daria a mesma coluna inteira.

8 O volume de energia baixa

Aqui está a grandeza que a família regularizada diz minimizar, e que até aqui não medíamos: quanto do espaço consegue energia baixa. A medida é feita em quatro passos.

1. Os destinos possíveis. Escolhemos uma posição do texto. Para cada um dos 16.392 tokens do vocabulário, o modelo de mundo prevê para onde o estado iria se aquele token fosse escrito ali. São 16.392 destinos.
2. O que é energia baixa. Um ponto do espaço tem energia baixa quando fica perto de algum desses destinos. A região de energia baixa é, então, um pequeno vale em volta de cada destino — um vale por token.
3. A referência. O texto real diz qual estado veio de fato a seguir. A energia desse estado verdadeiro, ou seja, o quão perto ele chega do destino mais próximo, é a referência: é o nível de energia que um alvo legítimo consegue.
4. Os pontos sorteados. Sorteamos pontos ao acaso, com o mesmo tamanho dos estados reais, para não comparar coisas de escalas diferentes. Para cada um, medimos a energia e contamos quantos ficam abaixo de uma, duas, cinco e dez vezes a referência.

A leitura é intuitiva. Num modelo colapsado, os destinos se amontoam e cobrem o espaço inteiro: quase qualquer ponto sorteado cai perto de algum deles, e a fração é alta. Num modelo que separa bem, os vales são estreitos: um ponto ao acaso fica longe de todos os destinos, e a fração é baixa.

Contar só os pontos abaixo da própria referência não serve: em 256 dimensões, um ponto sorteado ao acaso praticamente nunca chega tão perto de um destino quanto o estado verdadeiro, e todo modelo marcaria zero. Por isso contamos em vários múltiplos da referência. A curva mostra o formato do vale e, por ser medida em múltiplos, permite comparar modelos cujas energias têm escalas diferentes.

As duas linhas em negrito são o resultado desta apostila. No modelo regularizado, nenhum ponto sorteado consegue energia abaixo de cinco vezes a referência; no atalho, 82% conseguem. É a frase "minimizing the volume of space that can take low energy" saindo como número, confirmando o que a palestra descreve.

Mas o resto da tabela é desconfortável, e por isso está inteira aqui:

• O atalho tem perda de validação melhor — 5,2653 contra 5,7761, meia unidade de nats. Quem escolhesse pela métrica de token escolheria o modelo de paisagem quase plana.
• As medidas de colapso de representação não avisaram. O atalho tem posto efetivo quase o dobro (135,5 contra 75,7) e colunas menos correlacionadas. Pelas três medidas que o treino registra a cada avaliação, ele parece o menos colapsado dos dois — e é o que tem 82% do espaço vendendo energia barata.

9 Linhas e colunas: a taxonomia bate?

A palestra organiza as duas famílias pela matriz do lote, uma linha por amostra e uma coluna por variável: "one way is to make sure all the rows are different; another way is to make sure all the columns are different". Fazer as linhas diferentes é o método por amostra (InfoNCE, CLIP); fazer as colunas diferentes é o método por dimensão (VICReg, SigReg), o preferido dele.

Temos um controle contrastivo por amostra na fila desde a apostila 13 — a rodada wm1-nce1, com InfoNCE no lugar do SigReg. O resultado dela, pelo histórico de treino:

A taxonomia não apareceu. O método contrastivo por amostra deveria ganhar justamente na coluna das linhas, e perdeu: 0,1193 contra 0,0485, o dobro e meio de cosseno entre amostras. Perdeu também nas colunas, e custou 0,74 nats de validação. No nosso teste, a vantagem esperada do método por amostra não apareceu — o que, pelas ressalvas abaixo, diz mais sobre os limites do teste do que sobre a taxonomia.

Em 17/09 a rodada foi refeita guardando os pesos, e deu os mesmos números de validação até a quarta casa. Com os pesos, a medida sai na matriz certa — a dos estados do lote — e com a paisagem de energia ao lado, no mesmo protocolo da §8 (24 sequências, 12 posições no volume):

Na matriz certa, a taxonomia continua sem aparecer do jeito esperado: o método por amostra fica atrás do regularizado nas linhas (0,0916 contra 0,0541) e à frente na correlação entre colunas (0,170 contra 0,240), o inverso do que a divisão prevê. O que ele tem de próprio aparece na paisagem: a energia fora dos dados sobe mais que em qualquer outra rodada — ruído 23 vezes acima do par real, ponto sorteado 33,6 vezes a referência. É a descrição da família contrastiva na fala, "push the energy up" fora da região dos dados, medida. E é também a rodada que mais custa ao gerador (+23,87%): a paisagem mais funda não veio de graça.

Isso merece três ressalvas, porque é o resultado de uma rodada só e vai contra o esperado:

• A primeira tabela mede a tabela de embedding, não a matriz de estados que a palestra descreve. A segunda, feita com os pesos guardados em 17/09, mede a matriz certa, e a leitura não mudou.
• O InfoNCE aqui usa como negativos as outras posições do mesmo lote, que é a implementação padrão, mas não é "gerar pontos fora da região dos dados" no sentido literal da fala.
• Uma semente só. A apostila 13 §12.3 mede o desvio entre sementes; enquanto ele não fecha, diferenças pequenas nesta tabela são ruído de inicialização. A de 0,74 nats não é pequena; as de terceira casa são.

10 O volume, medido de novo

A primeira versão desta apostila fechou com quatro perguntas que só uma rodada responderia. As duas sobre inferência — se buscar no vocabulário inteiro melhora o texto e se existe um γ com rumo e cobertura ao mesmo tempo — viraram a apostila 18, porque a resposta mudou de assunto: o que decide o texto é a energia, não a busca. No caminho apareceu um defeito no modo todos, que a 18 descreve. As duas perguntas sobre o volume estão aqui. Rodaram na CPU, no wm1-sz1 e no wm1det.

Quantas posições bastam para o volume?

A ordem entre os dois modelos vale nas 18 medidas: nenhuma do atalho fica abaixo de nenhuma do regularizado. O número absoluto, não. Com 12 posições o atalho ainda vai de 31% a 70% abaixo de 5× a referência, e o 0,00% contra 82,49% da §8 é um sorteio dentro dessas faixas. As frações redondas (16,67% é uma posição em seis) mostram o motivo: cada posição tende a contar tudo ou nada, porque a referência muda muito de uma posição para outra. A variação está entre posições, não entre os alvos sorteados.

A mediana é mais estável. Com 12 posições ela fica entre 17,0× e 20,5× no regularizado e entre 4,7× e 6,3× no atalho: faixas estreitas e longe uma da outra. Para entrar na avaliação do treino, a medida a guardar é a mediana com 12 posições — cerca de 15 segundos por posição nesta CPU, três minutos por avaliação. A fração abaixo de 5× serve para ilustrar, não para comparar rodadas.

O volume depende do tamanho dos pontos sorteados?

Depende muito, e de um jeito que separa as duas coisas que a pergunta queria separar. A fração é escolha de amostragem: o mesmo atalho vai de 100% a 0% abaixo de 5× só mudando onde se sorteia, e com norma 2 os dois modelos marcam zero. A comparação é forma do vale: a razão entre as medianas fica entre 3,6 e 4,1 numa faixa de quatro vezes na norma. O atalho oferece energia cerca de quatro vezes mais barata que o regularizado, onde quer que se olhe.

11 O que muda no projeto