Procurar melhor
não conserta a energia

1 A pergunta que a 16 deixou

O gerador, no modo energia, escolhe cada token em dois passos. Primeiro monta uma lista curta de candidatos. Depois imagina, no espaço latente, para onde cada candidato levaria o texto, e dá a cada um uma energia com dois termos: o quanto o estado previsto se afasta do rumo pedido e o quanto o token é improvável segundo a própria cabeça de tokens.

E(a) = 1 − cos(Pred(z_t, e_a), rumo) + γ · (−log p(a))

A apostila 16 mostrou que a lista curta — os 8 tokens mais prováveis — muitas vezes não contém o token de menor energia: com γ = 0 isso acontece em todas as 96 posições medidas. A resposta foi um modo novo, todos, que calcula a energia de cada um dos 16.392 tokens do vocabulário e pega os de menor energia. Ficou uma pergunta, a primeira da lista de perguntas em aberto daquela apostila: achar o mínimo de verdade melhora o texto, ou só abaixa a energia?

2 Um defeito encontrado no caminho

A primeira medida saiu estranha. Com γ = 0,1, o modo todos deu afinidade ao rumo de 0,780, bem acima de tudo o que a apostila 12 tinha medido, mas com perplexidade 491; no modo energia sem cabeça de custo a perplexidade chegou a 2.098. A varredura da 16 dizia que, com γ = 0,1, o mínimo verdadeiro já está entre os 8 mais prováveis em 85% das posições. Uma busca que acha o mínimo não deveria produzir texto tão pior que a lista curta.

O motivo estava no código. A função que ordena o vocabulário (_todos_por_energia, em server/ours.py) usava só o termo do rumo e deixava de fora o termo γ · (−log p). Os oito candidatos eram, então, os mínimos do rumo puro — os fragmentos de sílaba que a apostila 16 §5 mostrou que nenhuma política escolheria —, e o γ só reordenava esse conjunto. Com γ = 0 as duas ordenações coincidem, e por isso as medidas da 16, feitas pelo model/inference.py com a energia inteira, não mudam.

A ordenação agora usa a energia inteira, a mesma que o inference.py mede. Todos os números abaixo são depois do conserto.

3 Três lugares para procurar, a mesma troca

Para ver se o que importa é onde se procura, comparamos três conjuntos de busca, sempre escolhendo pela mesma energia:

1. política: os 8 tokens mais prováveis (o comportamento de sempre);
2. vocabulário inteiro: os 16.392 tokens (o modo todos);
3. núcleo: só os tokens que, somados do mais provável para baixo, cobrem uma fração da probabilidade — a mesma ideia da amostragem por núcleo (top-p). A busca é exata dentro dele. É o modo novo nucleo, com a massa em nucleus_mass.

A ideia do núcleo era manter uma restrição de plausibilidade firme, como a da lista curta, e procurar o mínimo exato dentro dela.

A coluna do meio, a da melhor configuração do leme (cabeça de custo aplicada ao estado real), é a que responde. As quatro linhas em negrito caem praticamente no mesmo ponto: afinidade entre 0,476 e 0,488, perplexidade entre 82 e 84. Três delas são as três buscas com γ = 0,1; a quarta é a lista curta de sempre com γ = 0. Procurar no núcleo ou no vocabulário inteiro, com γ = 0,1, leva o texto exatamente para onde já se chegava baixando o γ.

Dito de outro jeito: existe uma troca entre seguir o rumo e escrever texto plausível. Baixar o γ anda sobre essa troca; procurar melhor também anda sobre ela, e não a desloca. Nenhuma das buscas comprou mais rumo pelo mesmo preço em perplexidade.

Uma exceção pequena merece registro: no guardrail, o núcleo de 50% zera os dígitos com perplexidade 75,6, contra 144,7 da lista curta com γ = 0 e 247,2 do vocabulário inteiro. É uma medida de 3 sementes num prompt só, e vale como pista para repetir, não como resultado.

4 Por que as buscas empatam

As linhas do núcleo de 80% e do vocabulário inteiro não são parecidas: são idênticas, até a terceira casa. Isso não é defeito; é o que duas medidas já feitas preveem juntas.

A primeira é a varredura de γ, feita com o model/inference.py sobre 96 posições do conjunto de validação. Ela diz com que frequência o token de menor energia está entre os k mais prováveis da política:

A segunda é o tamanho do núcleo. A política do mini é plana: a probabilidade se espalha por muitos tokens.

Juntas, elas explicam o empate. Com γ = 0,1, o token de menor energia está entre os 128 mais prováveis em todas as posições. Um núcleo de 80% tem cerca de 2.000 tokens, e o de 95%, quase 9.000; os dois contêm os mesmos oito tokens de menor energia que o vocabulário inteiro. As buscas são diferentes, os candidatos que elas devolvem não são.

5 O que segura a plausibilidade é a posição, não a massa

A tabela da §3 tem, então, uma leitura mais precisa do que "a lista curta é melhor". O que faz a lista curta produzir texto plausível é o corte por posição: nenhum token abaixo do oitavo mais provável entra. Os tokens que a energia prefere com γ = 0,1 estão quase sempre entre a 9ª e a 128ª posição da política — dentro de qualquer núcleo razoável, mas fora da lista curta —, e é deles que vem a perplexidade de 83.

O termo γ · (−log p) não imita esse corte. Um token na posição 50 tem probabilidade baixa, mas não baixa a ponto de o termo pesar mais que o ganho no rumo quando γ é pequeno. Com γ alto, o termo pesa o bastante, e a energia volta a ser quase a própria política (a 16 §4 mostrou isso com γ = 1). Na nossa energia, a plausibilidade está num termo contínuo, e o que funcionou foi um corte.

6 O que mudou no código

7 Limites desta medida

• São 4 prompts × 32 tokens e uma semente de geração nas colunas de afinidade. A tabela sustenta a ordem de grandeza — 0,355 contra cerca de 0,48, perplexidade 37 contra cerca de 83 —, não diferenças na terceira casa.
• Tudo foi medido num modelo só, o mini com modelo de mundo ponta a ponta (wm1-sz1). A política dele é plana; num modelo maior, com política mais concentrada, o núcleo encolhe, e o empate da §4 pode não se repetir.
• O rumo é um só ("futebol gol campeonato"), e a afinidade é dada por uma cabeça de custo treinada com poucas frases (apostila 12).

Medido na CPU em 17/09/2026. Dados em out/cpu_1709/.