O leme
e o modelo de mundo

1 Três versões da mesma pergunta

A pergunta é uma só: o modelo sabe para onde vai antes de ir? Cada versão responde de um jeito, e cada uma foi medida contra a anterior no mesmo protocolo (apostila 06): mesmos dados congelados, 700 passos, semente 1337, melhor checkpoint, controle = cosseno 1,0 com validação 5,2706.

2 O que a v1 e a v2 mediram

O resultado que organiza a apostila: prever o estado seguinte no latente ajuda o gerador (−0,90%, uma semente), e prever o embedding do token não ajuda (+1,41%). A diferença entre as duas é o alvo: o estado oculto carrega contexto; a linha da tabela de embedding, não. É a auto-destilação do DINO com stop-gradient no lugar do professor EMA — e a rodada com o professor de verdade disse: o EMA não compra — custa 3 pontos contra o stop-gradient, numa semente (apostila 04).

O termo aditivo na geração: um resultado negativo limpo

A primeira ideia de usar o leme era somar aos logits um termo α · cos(E[v], Pred(h)). O teste (evaluate_compass.py --only-alpha) mediu a perda de validação com três direções no lugar de Pred: a do preditor, a identidade (o próprio h) e uma direção aleatória. O preditor foi pior que a identidade, e a identidade pior que o aleatório. Somar uma direção aos logits piora, qualquer direção — porque distorce uma distribuição calibrada. Foi isso que condenou a inferência aditiva e motivou a energia (apostila 09): a direção prevista serve para escolher entre candidatos, não para reponderar todos.

3 O modelo de mundo, peça por peça

A tabela que a fila vai preencher

A primeira rodada, lida

O wm1-sz1 fechou com os dois lados da moeda. O modelo de mundo funciona: erro 0,150 contra 0,948 de copiar o estado, cosseno 0,93 contra 0,58 — e entende sequência, como mostra a violação de expectativa abaixo. Mas a validação foi a 5,7761, +9,59% sobre o controle: o pior custo de qualidade de todas as rodadas. A hipótese, escrita antes do controle fechar: com peso 1,0 e treino ponta a ponta, o encoder molda os estados para serem previsíveis a partir da ação — um atalho — e perde o que a entropia cruzada precisa. O wm1det (alvo com stop-gradient, sem SigReg-z) separa as duas coisas; no passo 99 já estava 0,63 nats abaixo do wm1-sz1 no mesmo passo. Pela regra da casa, a resposta não é descartar: duas rodadas com peso 0,1 (wm0.1-sz1 e wm0.1n2-sz1-lat1o, a combinação com o leme profundo) entraram na fila.

É a bola que some do vídeo, em texto: a mesma frase de trás para a frente faz o erro do mapa subir 32% enquanto a identidade nem nota (−3%). O modelo de mundo aprendeu algo sobre a dinâmica do texto que copiar o estado não captura — o primeiro "senso comum" medido neste projeto, e ele veio na rodada que mais custou ao gerador.

A variável latente, lida

O wm1n2z16-sz1 teve o menor custo das rodadas ponta a ponta (+7,00%) e o maior ganho de mapa da tabela — e o ganho é falso. O ζ é lido do alvo por um canal de 16 dimensões, regularizado por SigReg para ser N(0, I); a aposta era que um canal estreito e gaussiano só carregasse "qual futuro", não "o futuro inteiro". Medido na validação, com os mesmos estados:

Com o ζ que a inferência tem, o mapa é o piso. O canal carregou o alvo — e o SigReg nos ζ não fechou o canal: a média ficou em 0,00 mas o desvio em 1,44 e a norma em 5,7 (N(0, I) daria 1,0 e 4,0). O sintoma aparece em tudo que usa ζ = 0: a violação de expectativa some (+3 / −4 / −1 além da identidade, contra +25 / +41 / +39 do wm1n2-sz1) e o nível 2 fica pior que copiar o bloco. É o colapso da palestra por outra porta: não a representação constante, mas a predição trivial por um atalho. A correção está na fila: ζ-dropout (--world-latent-dropout 0.5) — metade dos lotes com ζ amostrado, para o preditor ter que funcionar sem o alvo, e ζ só poder carregar o que uma amostra também carregaria. Enquanto isso, o leme desse modelo governa mesmo assim (apostila 12: 0,383 contra 0,265 da livre), porque o planejador amostra ζ e o custo no estado real não depende do mapa.

O ζ-dropout fechou o canal. Com ζ amostrado, como na inferência, o mapa erra 0,222 contra 1,110 do piso — antes errava 1,260 contra 1,671, isto é, nada. A diferença entre ζ inferido e ζ amostrado caiu de 33× para 1,5×: o que ζ ainda carrega é a escolha entre futuros, não o futuro. O custo ao gerador ficou o mesmo (+7,60% contra +7,00%). E o ζ chegou mais perto de N(0, I) (desvio 0,70, norma 2,75) — o SigReg nos ζ passa a ter efeito quando o preditor não pode mais depender deles. A violação de expectativa voltou junto: com ζ = 0, +22,6 / +31,4 / +30,4 além da identidade (contra +3 / −4 / −1 no canal vazado) — o mapa entende sequência de novo. E a apostila 12 fecha o ciclo: nesse mapa o leme governa nos dois eixos (0,324 contra 0,243, PPL 51,7 contra 62,6).

Os dois estágios, lidos

A receita da fala — "use o DINO como encoder, depois treine um modelo de mundo e planeje" — é o wm-sobre-dino: o encoder da rodada reg1-dino1-lat1o congelado, só as cabeças do modelo de mundo aprendendo, 532 mil parâmetros, onze minutos. O mapa sai pior que o ponta a ponta (MSE 0,665 contra 0,15; cosseno 0,73 contra 0,93) e melhor que o piso com folga (+0,80). O que ele compra é o que nenhuma rodada ponta a ponta comprou: custo zero ao gerador, porque o gerador não é tocado. É o par oposto do wm1-sz1: lá o mapa é excelente e o gerador paga 9,59%; aqui o mapa é bom e o gerador não paga nada. Entre os dois, o wm1det (+1,11%, cosseno 0,79). A escolha entre eles é a escolha entre um mapa mais preciso e um gerador intacto — e a apostila 12 diz que, para governar, o mapa não precisa ser o mais preciso: neste, o leme dá 0,436 contra 0,281 da livre, o maior efeito de todos os mapas. A violação de expectativa também está lá (+10,1 / +31,6 / +32,7 além da identidade): o mapa treinado em onze minutos sobre um encoder que nunca viu um modelo de mundo entende sequência.

O controle, lido

O wm1det — o mesmo modelo de mundo com o alvo sem gradiente e sem SigReg nos estados, o "atalho antigo" que a receita do LeWorldModel dispensa — fechou em 5,3291, +1,11%, com ganho do mapa +0,87 sobre o piso (MSE 0,535 contra 1,406; cosseno 0,79 contra 0,51). Contra o wm1-sz1: oito pontos percentuais a menos de custo, e um mapa que prevê quase tão bem. O critério (2) da caixa abaixo disparou: o treino ponta a ponta com SigReg-z, com peso 1,0, não paga o que custa neste modelo. O que ele compra é um espaço mais previsível (cosseno 0,93 contra 0,79) — e a apostila 12 mostra que esse espaço governa quando o custo tem escala; o que ele cobra é o gerador. Duas leituras honestas cabem ao mesmo tempo: o stop-gradient não colapsou (o piso de identidade continua longe do erro do mapa, e o SigReg dos estados, medido sem treinar, ficou em 10× o piso gaussiano contra 12,8× do wm1-sz1), e a receita ponta a ponta pode estar certa com o peso errado. O wm0.1-sz1 disse: com peso 0,1 o custo cai de +9,59% para +3,25%, e o mapa continua ganhando do piso (+1,17, cosseno 0,71 contra 0,33). O peso era a maior parte da conta; os dois pontos que sobram entre 0,1 ponta a ponta e o stop-grad são o preço do SigReg nos estados, que ainda não se pagou em nenhuma rodada. A violação de expectativa no wm1det dá o mesmo desenho, um pouco mais fraco: outro documento +10,7%, embaralhada +26,0%, invertida +27,7% além da identidade (contra +17,6 / +36,3 / +35,3 do wm1-sz1, +25,0 / +41,3 / +39,3 do wm1n2-sz1 e +16,0 / +41,4 / +39,4 do wm1n2e-sz1). Com peso 0,1 (wm0.1-sz1): +9,4 / +20,1 / +22,8 — o mapa mais leve entende menos sequência, na mesma ordem. Todos os mapas de nível 1 entendem sequência; só o do ζ vazado, com ζ amostrado, não.

4 Inferência: como o leme vira leme

Com o modelo de mundo treinado, a geração muda de natureza: em vez de somar um viés (o resultado negativo do §2), o sistema imagina cada candidato e escolhe pela energia. Os modos, todos selecionáveis no painel «Antevisão · leme» (apostila 09 e 10):

E por cima dos modos, três chaves da leitura de LeCun: o custo da tarefa e os guardrails podem ser cabeças aprendidas com três frases (costs.py); o nível 2 pode planejar a própria ação abstrata (plan2_steps); e o planejador pode ficar quieto quando o modelo não tem dúvida (plan_if_entropy). A comparação de tudo isso num modelo treinado é a apostila 12.

A tabela do teste cruzado

O teste de evaluate_compass.py: três rumos × quatro prompts. Para cada geração, a afinidade com cada rumo (vizinhança nos 400 tokens mais próximos) e a perplexidade do texto gerado. Um leme funciona se a diagonal da matriz de afinidade domina e a perplexidade não explode.

Efeito (diagonal − fora da diagonal): +0,017 com β = 8; 0,000 com β = 16. O leme, com o custo de cosseno ao rumo, não governa este modelo: as três linhas são quase iguais, e com β = 16 são idênticas — o planejador escolhe sempre o mesmo candidato, o de maior probabilidade, porque a energia da tarefa não distingue os candidatos. O mapa prevê bem e o custo não aponta. É exatamente a lacuna que a cabeça de custo aprendida (apostila 12) foi feita para fechar; a tabela dos modos, com o juiz independente, diz se fecha.

5 A correção do mapa

Quando o plano não dá o resultado previsto, o que se corrige é o modelo de mundo (apostila 09, §3.3). O teste de fumaça, num modelo de mundo de dois passos, deu razão surpresa/piso de 0,907 → 0,719 num conjunto separado. O número que vale é o mesmo teste num modelo treinado, onde o mapa já é bom e a margem é pequena:

O que a fumaça previu, aconteceu: com o mapa já em 0,16, a correção decorou as próprias trajetórias (0,149 → 0,095 no gerado) e não generalizou (0,161 → 0,159 no teste). É o "overfitting do crítico" que a fala manda vigiar, e ele aparece exatamente onde a margem é pequena. O laço está certo e o critério de leitura também; o que este mapa não tem é erro sistemático para corrigir.

A apostila 06 conta como todos esses números foram medidos — e os onze erros que o método pegou no caminho.