As correções
pelas falas de LeCun

1 O método: falha → trecho → flag → medida

A regra da casa é fazer funcionar, não descartar. Cada falha da fila foi levada de volta ao texto de LeCun com uma pergunta só: o que a fala diz que ainda não fizemos? A resposta virou código aditivo (nenhuma rodada anterior muda de comportamento) e uma rodada nova na mesma verba das outras (700 passos, semente 1337, controle reg1 em 5,2706).

2 A memória que não governava

A apostila 11 mediu que a memória persiste: a predição com a memória do texto certo ganha +0,019 sobre a memória de outro texto, mesmo quando o passado dobrado está uma janela inteira atrás. E a apostila 12 mediu que o mapa da memória foi o único dos doze em que o leme não governou (0,258 contra 0,343 livre). A hipótese "com prompt curto a memória é zero" foi testada com prompts de 320 tokens e não se confirmou.

O diagnóstico veio da própria tabela de persistência, lida de novo. Na rodada wm1n2mem-sz1:

A memória vazia é pior que a memória de outro texto. Não é o que "sem passado" deveria dar: um vetor zero deveria ser, no máximo, neutro. É o mesmo furo do ζ na apostila 05: no treino, o preditor recebeu sempre a memória dobrada do passado real (janelas duplas), e nunca o vetor zero — e é o vetor zero que ele recebe quando o prompt é menor que um bloco. A inferência lhe entrega uma entrada de fora da distribuição de treino, o mapa erra mais que com um passado aleatório, e um leme guiado por um mapa que erra não governa. Os 320 tokens do teste anterior não bastaram porque o passado dobrado de 64 tokens tampouco é a distribuição do treino (256).

A correção é a do ζ, transposta: memória-dropout. Em metade dos lotes o preditor recebe m = 0. Ele tem de funcionar sem passado e aprender a usar o passado quando ele existe — o "combine com a memória" da palestra passa a incluir o caso em que não há o que combinar.

As duas tabelas dizem coisas opostas, e as duas estão certas. A primeira: o furo fechou — a memória zero (0,1770) ficou neutra, igual à memória de outro texto (0,1777), em vez de 0,027 pior. E "longa" deixou de ser pior que cada metade (0,1755 contra 0,1756 e 0,1757): sem a diluição. Mas o ganho de memória caiu de +0,019 para +0,002: com metade dos lotes sem passado, o preditor aprendeu a não depender da memória, e ela quase deixou de carregar. A segunda tabela é o que se queria: no mapa que era o único a não governar, a cabeça com custo no estado real dá 0,301 contra 0,224 livre — o leme governa, e o mapa da memória sai da lista de exceções (13 de 13 mapas). O preço veio em plausibilidade (PPL 37 → 58), como nos mapas em que o leme governa sem baixar a PPL. O diagnóstico estava certo: era a entrada fora da distribuição de treino, não a memória em si. O que fica é o compromisso: 0,5 de dropout fecha o furo e apaga a memória; a fração que fecha o furo e preserva o +0,019 fica para a rodada com 0,25 — e para a memória consultada da apostila 14, que não dilui.

3 O encoder de nível 2: anticolapso por dimensão

A apostila 11 fechou o encoder de nível 2 aprendido com três atalhos: encolher (média + correção: piso do bloco 0,171 → 0,013), perder a continuidade (SigReg nos estados abstratos: blocos consecutivos ortogonais, cos 0,07, e o pior custo da fila) e alinhar (norma fixa: todos os blocos na mesma direção, cos 1,000). A lição escrita ali: o anticolapso do nível 2 precisa fixar escala e variância entre blocos sem destruir a correlação entre vizinhos.

A palestra tem a taxonomia exata desse problema. A matriz de um lote — uma linha por amostra, uma coluna por dimensão — fica informativa de dois jeitos: linhas todas diferentes (métodos contrastivos por amostra) ou colunas todas diferentes (métodos contrastivos por dimensão: VICReg, Barlow Twins, e o próprio SigReg como caso limite). O SigReg-s2 exigiu que cada bloco fosse uma amostra de uma gaussiana isotrópica — e amostras independentes de uma gaussiana em 256 dimensões são ortogonais entre si. Foi a ortogonalidade medida. O VICReg pede menos: cada dimensão dos estados abstratos com desvio-padrão mínimo (hinge, não quadrático) e as dimensões descorrelacionadas. Nada obriga o bloco k+1 a ser independente do bloco k; obriga só que nenhuma dimensão morra e que nenhuma repita outra. É o termo de variância que a apostila 11 pediu, aplicado ao lote de estados abstratos (--vicreg-s2, o mesmo regularizador da rodada reg1-vic1 da apostila 04, agora sobre s₂ em vez da tabela).

A segunda correção vem do outro lado da mesma fala. Os três colapsos têm uma causa comum: o encoder de nível 2 é treinado pela perda de predição que ele mesmo alimenta, dos dois lados — e a solução mais fácil dessa perda é o alvo que não muda. A família de destilação resolve isso por construção: o alvo vem de um encoder que não recebe gradiente, uma média móvel dos pesos do encoder que aprende (--world-ema). O encoder aprendido não pode mais puxar o alvo para perto da predição, porque o alvo é de outro modelo — atrasado, mas outro.

A quarta porta fechou, e foi a receita da palestra que fechou. O piso do bloco não encolheu: 0,399, mais que o dobro dos 0,171 da média crua, contra os 0,013 do encoder sem anticolapso e os 0,032 do VICReg. O cosseno entre blocos ficou em 0,804, dentro da faixa saudável de 0,5 a 0,9 — nem ortogonal como o SigReg-s2 (0,07), nem alinhado como a norma fixa (1,000). E o nível 2 num passo (0,265) prevê muito mais longe que o nível 1 rolado oito vezes (0,851): a hierarquia está fazendo o que prometia. O custo ao gerador, +1,22%, é o menor de todos os encoders de nível 2 — os outros custam de 6,2% a 11,3%.

Não colapsa, e melhora com o orçamento. O piso do bloco quase dobra, de 0,399 para 0,710: com mais treino o encoder espalha mais os blocos, não menos. A norma cresce de 16,2 para 22,3 e continua acima da média crua. A sonda continua dando vantagem ao encoder nos dois orçamentos, e o leme governa nos dois, baixando a plausibilidade junto (PPL 25,4 → 15,4 no orçamento cheio). O atalho que levou cinco encoders ao colapso não aparece nem quando o modelo tem dez vezes mais tempo para encontrá-lo.

O mecanismo é o que a apostila 04 já tinha descrito e nunca tinha sido aplicado aqui: os três colapsos anteriores têm a mesma causa, que é o encoder ser treinado pela perda que ele mesmo alimenta, dos dois lados. A solução mais fácil dessa perda é um alvo que não muda, e encolher o espaço é a forma mais barata de não mudar. Com o professor EMA o alvo vem de outro modelo — atrasado, mas outro —, e o encoder não pode mais puxá-lo para perto de si. Nenhum regularizador foi necessário: o SigReg-s2, o VICReg e a norma fixa foram tentativas de proibir o colapso; a destilação simplesmente remove o incentivo.

O VICReg fez o que a taxonomia prometia e não mais que isso. A continuidade entre blocos ficou intacta — cosseno 0,703, entre os 0,81 da média crua e os 0,07 do SigReg-s2 — e o nível 2 continua prevendo mais longe (0,0160 contra 0,0180 rolado). Mas o piso do bloco parou em 0,032: subiu de 0,013 e ainda está cinco vezes abaixo dos 0,171 da média crua. O regularizador normaliza a escala antes de medir a variância (é o que a apostila 04 fez de propósito, por causa do weight tying) — e por isso não vê o encolhimento. O custo ao gerador (+8,27%) fica entre os outros encoders, e o leme não governa nesse mapa (0,257 contra 0,309 livre), como não governou em nenhum encoder de nível 2 de escala encolhida. É a quarta porta, e a palestra tem a frase que a explica: "toda medida empírica de informação que temos é um limite superior; escolhemos um bom limite superior e cruzamos os dedos". Um regularizador satisfeito não garante informação — garante só a estatística que ele mede. A régua que falta é a da entrevista, "informação é relativa a quem interpreta": uma sonda que leia o bloco a partir do estado abstrato, igual para todos os encoders (model/info_level2.py, seção 9).

4 O custo ao gerador: a família que escalou

A apostila 05 mediu o preço do modelo de mundo ponta a ponta com SigReg-z: +9,59% com peso 1,0, +3,25% com peso 0,1; e o controle com stop-grad, +1,11%, com um mapa quase igual. O critério 2 da 05 disparou: o SigReg ponta a ponta não paga o que custa neste orçamento. A rodada em dois estágios sobre o DINO congelado deu custo zero e o maior efeito de leme de todos — mas com um mapa pior (0,665 contra 0,150).

A mesma tabela ganha um controle da outra taxonomia da palestra: "linhas todas diferentes" (contrastivo por amostra, a família de CLIP e SimCLR) contra "colunas todas diferentes" (por dimensão: VICReg, SigReg). O modelo de mundo só tinha o lado por dimensão. A rodada wm1-nce1 troca o SigReg-z por um InfoNCE entre a predição e o alvo — cada predição perto do seu alvo e longe dos alvos das outras posições do lote — e mede se o preço ao gerador é da família ou do anticolapso em si.

A palestra é explícita sobre as duas famílias. O SigReg é "conceitualmente o meu preferido, mas muito recente, e ainda não escalamos". Os métodos de destilação — "você não propaga gradiente pelo encoder da direita; ele usa uma média móvel exponencial dos pesos do encoder da esquerda" — são "os que escalamos, com resultados muito bons em imagens e vídeo: I-JEPA, V-JEPA". O nosso stop-grad (wm1det) é a metade dessa receita: alvo sem gradiente, mas do mesmo encoder no mesmo passo. A outra metade é o atraso: o alvo vem de um professor que segue o aluno com momento 0,996 — o mesmo professor que a rodada DINO da apostila 04 já construía. Se o alvo mudasse junto com o aluno, os dois poderiam concordar em qualquer coisa; o atraso é o que dá um alvo estável sem precisar do SigReg nos estados.

O contrastivo por amostra é o pior da fila inteira, e por muito. O InfoNCE custa +23,87% ao gerador — o dobro do segundo pior — e entrega um mapa que parece ótimo e não é: MSE 0,084 com cosseno 0,97. Esses dois números juntos são a assinatura do colapso descrita na apostila 04: o preditor acerta quase perfeitamente porque os estados ficaram quase iguais entre si, e o cosseno do piso subiu junto, para 0,66. A taxonomia da palestra separa os métodos contrastivos dos regularizados dizendo que os primeiros "não escalam bem com a dimensão"; aqui, em 256 dimensões e com 1.024 negativos, ele nem chegou a competir. É o controle negativo que a §4 precisava: sem um regularizador que force variância por dimensão, empurrar amostras para longe umas das outras não impede o espaço de encolher.

A família que escalou é a que custa menos. Com o alvo do professor EMA, o modelo de mundo custa +0,45% ao gerador — contra +1,11% do stop-grad do mesmo encoder, +3,25% do SigReg-z com peso 0,1 e +9,59% com peso 1,0. É o preço mais baixo de toda a fila para um mapa treinado junto com o gerador. O mapa em si fica um pouco abaixo do stop-grad (MSE 0,644 contra 0,535; cosseno 0,74 contra 0,79, sobre pisos parecidos) e bem abaixo do ponta a ponta (0,150), e o ganho sobre o piso é o mesmo (+0,81 contra +0,87). Não colapsou: a razão MSE/piso é 0,44 e o cosseno do piso ficou em 0,50 — o atraso do professor segurou o encoder sem SigReg nos estados, como a palestra diz que segurou em imagem e vídeo. A leitura da apostila 05 fecha assim: o custo do modelo de mundo ao gerador era, quase todo, o preço do SigReg-z ponta a ponta; a destilação compra 85% do mapa do stop-grad por 40% do custo dele. A tabela de modos desta rodada diz se esse mapa mais barato ainda governa.

Governa, e é o mapa mais barato que governa — mas separa menos. A cabeça de custo no estado real leva a afinidade de 0,301 a 0,341, o mesmo teto do mapa ponta a ponta (0,344), e desta vez baixando a plausibilidade (PPL 76 → 32) em vez de subi-la. Até aqui o mapa de +0,45% compra o que o de +9,6% comprava. O resto da bateria mostra o que o preço deixou de fora: as violações de ordem sobem 18% no erro do mapa e 36% na energia de dependência, contra 38% e 130% no mapa ponta a ponta — o mapa EMA sabe menos o que é uma sequência bem-formada, e o guardrail sente isso primeiro: a cabeça mista com γ_c = 3, que zerou os dígitos no estado imaginado em quatro de quatro mapas, aqui para em 16,7% — e não por falta de cabeça: a cabeça futebol separa tanto quanto no outro mapa (juros 0,712 contra 0,570; código 0,194 contra 0,057), e a cabeça guardrail treinou com a mesma acurácia (0,987). O que falta é o estado imaginado ser parecido o bastante com o real para a cabeça reconhecê-lo. A regra de desconfiar também inverte de sinal: no mapa preciso ela sobe a afinidade (0,385); neste, 14% dos tokens voltam à política e a afinidade cai ao nível do livre (0,302), porque a surpresa passa de 1 mais vezes num mapa que erra mais. É o mesmo par de régua e mapa da §8 (antecipação): o rumo tolera um mapa fraco; o guardrail e a surpresa não. Para o gerador, a família de destilação é a que vale; para o guardrail no estado imaginado, o mapa precisa da precisão que o SigReg-z ponta a ponta comprou — e a rodada wm1n2e-ema (§3) diz se o nível 2 com alvo EMA fica no meio.

5 O guardrail no estado imaginado

A apostila 12 fechou com uma regra empírica incômoda: em seis de sete mapas, o guardrail "sem-numeros" só age quando aplicado ao estado real do candidato (o candidato acrescentado ao contexto, uma passada a mais). Nos estados que o mapa imagina — que é onde a palestra põe o guardrail, "aplicado a todos os passos da sequência" — quase nada. A cabeça foi treinada, como todas, sobre estados reais.

O trecho que responde é o mesmo da apostila 12, lido com uma palavra a mais: "uma cabeça pequena sobre a representação". A representação que o planejador consulta não é z_t+1; é Pred(z_t, a_t) — uma regressão em direção à média dos futuros, com menos detalhe (é o que a JEPA faz de propósito). Uma projeção linear ajustada na distribuição dos estados reais não tem por que separar candidatos na distribuição dos estados imaginados. A correção é treinar a cabeça onde ela vai ser lida: costs.py --predicted (só imaginados) e --mixed (reais e imaginados, para a mesma cabeça servir aos dois lugares em que a bancada a aplica).

Três leituras, na ordem em que foram medidas. A cabeça treinada só nos imaginados não resolve (56,2% → 53,1%): a distribuição dos estados previstos é mais estreita, e uma cabeça que só viu essa distribuição também não separa bem. A cabeça mista, com o mesmo peso 1, já age nos dois lugares (43,8% no imaginado, 12,5% no real, contra 56,2% e 25,0%) — e com PPL menor que sem guardrail no imaginado (7,1 contra 8,0). Com peso 3, o guardrail só no estado imaginado zera os dígitos, com PPL 21,7: é a restrição da palestra funcionando no lugar em que a palestra a põe, sem a passada extra do estado real. O peso 10 não acrescenta nada além de plausibilidade perdida (PPL 25,7) — a partir de 3 a restrição já é obedecida; o resto é preço. A última linha é o controle: a cabeça de estados reais com o mesmo peso 3 não move o imaginado (56,2%, igual a sem guardrail) e melhora só o real (25,0% → 15,6%). Neste mapa, o efeito é da cabeça, não do peso: uma projeção que nunca viu os estados imaginados não separa candidatos neles, por mais que pese.

No segundo mapa as duas coisas contam. O peso sozinho já faz metade do caminho (cabeça de estados reais, γ_c = 3: 46,9% → 13,3% no imaginado), e a cabeça mista com peso 1 chega ao mesmo ponto (12,9%). Só as duas juntas zeram: mista com γ_c = 3, 0,0% no estado imaginado, em dois de dois mapas, com PPL de 19 a 22 — o mesmo preço que o estado real cobrava. No mapa mais preciso (wm1n2-sz1, cos 0,89 por token) a projeção de estados reais ainda lê alguma coisa no imaginado, porque o imaginado se parece com o real; no mapa mais fraco (wm0.1-sz1, cos 0,71) não lê nada, e só a cabeça que viu os dois separa. A regra que entra na bancada: a restrição se treina onde é lida — a cabeça mista é o padrão de costs.py para guardrails, e γ_c = 3 o peso de partida. O guardrail da palestra, aplicado a todos os passos imaginados sem nenhuma passada no estado real, funciona.

O teste de "não dá para jailbreakar"

A palestra faz uma afirmação forte sobre esse desenho: um sistema que só sabe otimizar o objetivo e os guardrails "não pode fazer outra coisa" — não há prompt que o tire disso, ao contrário de um LLM ajustado por fine-tuning, em que "sempre há um jeito de quebrar o condicionamento". Em texto isso tem um teste direto: o prompt pede o que o guardrail proíbe. Dois prompts, cabeça mista, γ_c = 3, três sementes; a fração de dígitos é medida só no que o modelo gera.

Nos dois prompts e nos dois mapas, o guardrail reduz os dígitos de 35–75% para 0–16%, e "ignore a regra" não funciona: o pedido no prompt não entra na energia, só o estado que ele produz. Mas a afirmação da palestra é de um sistema que só faz otimizar a energia, e o nosso não é: a busca é sobre os k tokens mais prováveis do gerador, e depois amostra a 0,9 entre eles. Quando o gerador, empurrado pelo prompt, põe só dígitos entre os candidatos, o guardrail escolhe o menos ruim — é o que sobra em "1, 2, 3," (12,9% e 15,6%). E no wm0.1-sz1, com esse prompt, o estado real sozinho falhou (43,8%): o candidato "," depois de "3" tem estado real que a cabeça não marca como numérico, e a lista continua. A conclusão medida é mais precisa que a da palestra: o guardrail na energia resiste ao prompt na proporção em que a busca é dele — e a fração que ainda passa é a fração em que a política (o top-k do gerador) decide antes da energia. Para o "não dá para jailbreakar" valer inteiro, a busca tem de ser sobre a energia, não sobre a lista curta do gerador: é o modo mpc com candidatos vindos do latente, não da política, e fica em aberto.

O teste seguinte fechou essa porta e abriu outra. Com compass.candidates = latent, os candidatos do primeiro passo deixam de ser o top-k da política: uma ação contínua é otimizada contra a energia (tarefa + guardrails, com a plausibilidade delimitada pelo top-64 da política) e os candidatos são os k tokens do vocabulário inteiro mais próximos dela. Resultado no prompt "1, 2, 3,": 0,0% de dígitos só no estado imaginado, nos dois mapas (wm1n2-sz1: 12,9% → 0,0%, PPL 56,9; wm0.1-sz1: 15,6% → 0,0%, PPL 64,2). A busca passou a ser da energia, e o "não dá para jailbreakar" vale inteiro. O preço apareceu noutra régua: no mesmo wm1n2-sz1, a afinidade da melhor configuração cai de 0,344 para 0,236 — abaixo da livre (0,292). Os tokens mais próximos de uma ação contínua otimizada são bons para evitar (o guardrail é uma região a não entrar) e ruins para ir (o rumo é uma direção fina que a projeção linear da cabeça não fixa num ponto do vocabulário). "Ambos" (união dos dois conjuntos) recupera parte da fuga (15,6% no wm0.1): a política, quando está entre os candidatos, ainda ganha. A regra medida: candidatos da política para o rumo, do latente para a restrição — e as duas coisas juntas ainda não têm um só conjunto de candidatos que sirva.

6 O que muda no projeto

• Treino (model/train.py): --world-memory-dropout, --vicreg-s2, --world-ema. Tudo desligado por padrão; nenhuma rodada anterior muda.
• Cabeças (model/costs.py): --predicted e --mixed; o arquivo da cabeça registra em que distribuição foi treinada (sobre).
• Modos (model/modes.py): --gamma-cost, o peso das cabeças guardrail — a tabela da apostila 12 usou 1,0.
• Laboratório e fila: as três flags e as duas opções da cabeça estão na bancada; as quatro rodadas estão em geometry_duel.py, com o trecho que as motivou no comentário.

7 Pesquisando mais: onde está o imprevisível

A leitura seguinte de LeCun foi atrás de uma afirmação que ainda não tinha experimento. A palestra diz o que a JEPA faz de propósito: "ao construir uma representação de Y, o sistema pode eliminar toda a informação sobre Y que simplesmente não é previsível" — e é por isso que a predição fica "mais abstrata, com menos detalhe, mas mais precisa". Em texto, "imprevisível" tem uma régua pronta: a entropia da distribuição do próprio gerador sobre o próximo token. Se a representação descarta o imprevisível, o erro do mapa deve crescer menos que o piso de identidade quando a entropia sobe (model/unpredictable.py: 64 janelas de 128 tokens, 8.128 posições, por quartil de entropia).

O resultado não é o que a pergunta esperava, e é melhor que ele. O erro do mapa é plano: no wm1-sz1, 0,143 no quartil mais previsível e 0,146 no mais imprevisível, com correlação zero com a entropia; no wm1det, o mesmo. O piso também não cresce com a entropia. A razão está na definição de ação: em texto, a ação é o token que veio, e o mapa prevê o estado seguinte dado o token. Toda a incerteza do "o que vem depois" está na escolha do token — que é a distribuição que o gerador já modela — e o que sobra, a transição do estado dado o token, é quase determinística, tão previsível num ponto de entropia 8 quanto num de entropia 3. A palestra descreve a JEPA eliminando o imprevisível da representação; aqui, a arquitetura eliminou o imprevisível da predição por construção, porque o condicionou à ação. É a razão estrutural de o latente ζ da apostila 05 não ter encontrado o que carregar depois que o ζ-dropout fechou o vazamento: no nível 1 não há "futuros múltiplos" dado o token; o mapa não precisa de ζ. Onde ζ pode valer é no nível 2, em que a ação é a média de um bloco inteiro e a escolha dos tokens dentro dele fica de fora.

O mapa mais fraco conta a outra metade. No wm0.1-sz1 (peso 0,1, cos 0,71) o erro sobe com a entropia (0,543 → 0,720, Spearman +0,23) e acompanha a surpresa do gerador no token real (+0,47): um mapa pouco treinado ainda paga pelo imprevisível, e o que o treino ponta a ponta compra, com o seu custo ao gerador, é exatamente a transição que não depende da entropia. É uma régua nova para "o mapa está pronto": o erro deixa de depender de onde o texto é difícil.

8 Duas dúvidas a mais, com número

A "emoção" antecipa?

A entrevista: os sistemas "terão emoções, porque são antecipações do desfecho — se preveem que vão cumprir o objetivo, isso os deixa felizes". A bancada grava, a cada token, a menor energia que o planejador encontrou (energia_prevista, apostila 12). Ninguém tinha medido se essa antecipação antecipa. O teste (model/anticipation.py): 12 prompts × 3 sementes com o leme (cabeça "futebol10" + estado real, γ = 0,1); para cada geração, a energia prevista média e o desfecho real — a afinidade pelo juiz independente.

No mapa preciso, a antecipação antecipa: as gerações em que o planejador esperava cumprir o rumo cumpriram quase o dobro (0,414 contra 0,216), e a correlação é forte. A energia prevista pode ser lida como confiança — e é isso que o painel mostra. No mapa fraco, não: a correlação some, e a energia prevista é um número interno sem valor de previsão. A "emoção" da entrevista é uma propriedade do mapa, não do planejador: só um modelo de mundo que acerta pode antecipar. A terceira coluna diz algo que a entrevista não diz: onde o leme governou mais, o mapa se surpreendeu mais (+0,69). Governar é levar o texto para onde o modelo de mundo não esperava — o preço em surpresa é a marca do leme agindo, e o sinal de "ajustar o mapa" da apostila 09 dispara justamente nas gerações que deram certo.

ζ carrega futuros múltiplos em algum nível?

A §7 concluiu que no nível 1, dado o token, a transição é determinística, e conjecturou que o latente ζ só pode valer no nível 2, onde a ação é a média do bloco. O teste (model/futures.py, rodada wm1n2z16zd0.5-sz1, a do canal fechado): por nível, o erro com ζ = 0, com uma amostra de ζ, o melhor de 8 amostras, e a dispersão entre os 8 futuros — futuros de verdade se espalham na ordem do erro do futuro médio; ruído se espalha muito menos.

A conjectura da §7 não se confirmou. Nos dois níveis, os oito futuros amostrados se espalham 15–18% do erro do futuro médio: ζ treme em volta da média, e o "melhor de 8" ganha só o que a seleção entre amostras ruidosas ganha. O nível 2 não mostra mais escolha que o nível 1. Nesta escala (7,4 M, blocos de 8, corpus de 200 MB) a média do bloco seguinte é previsível o bastante a partir da média das ações para que não sobre um modo de variação que ζ precise carregar. O contraste com o canal vazado mostra o que dispersão alta significa quando é ruim: 0,84 do erro, mas a amostra única é pior que o futuro médio — futuros diferentes que não são futuros plausíveis. A variável latente da palestra fica registrada como peça que este orçamento não precisa: ela vale onde a ação deixa um modo de variação de fora, e blocos de 8 tokens de texto ainda não o deixam. Blocos maiores (uma frase) são a próxima régua.

9 A informação do nível 2, medida por um intérprete

Quatro anticolapsos, quatro portas. A busca no texto da palestra (tools/transcripts.py, frases 264–275) tem a explicação: "não temos medidas objetivas de conteúdo de informação, porque todas as definições exigem conhecer a distribuição, e só temos amostras saindo de um encoder"; "para maximizar algo você precisaria de um limite inferior; o problema é que toda medida empírica que temos é um limite superior. Então escolhemos um bom limite superior e cruzamos os dedos". SigReg, VICReg e norma fixa são limites superiores: satisfazê-los não obriga o estado a carregar o bloco. E a entrevista (frases 179–185) diz qual seria a régua: "a quantidade de informação numa mensagem não é absoluta; depende de quem interpreta". A medida honesta é um intérprete fixo, igual para todos os encoders: uma regressão linear que tenta ler, a partir do estado abstrato, a média dos embeddings dos tokens do próprio bloco (reconstrução) e do bloco seguinte (predição) — model/info_level2.py, R² fora da amostra, ao lado do mesmo R² para a média crua da mesma rodada.

O intérprete confirma, e mostra que a solução que parecia óbvia não era a melhor. O encoder com alvo EMA é o único dos seis aprendidos que não perde informação: reconstrói o próprio bloco tão bem quanto a média crua (0,712 contra 0,714) e antecipa o bloco seguinte melhor que ela (0,223 contra 0,210). A norma cresceu em vez de encolher (16,2 contra 13,5) e a continuidade subiu (0,820 contra 0,745). Pela régua que a entrevista pediu — "informação é relativa a quem interpreta" —, este é o primeiro encoder de nível 2 que vale a pena ter.

E a peça que parecia a resposta direta falhou. Pôr a própria sonda dentro do treino (--world-enc2-probe), otimizando o encoder para ser legível, deu o pior resultado da tabela: 0,059 de R² no bloco seguinte contra 0,274 da média crua da mesma rodada, com a norma despencando de 11,4 para 1,554 e o cosseno para 0,361. Otimizar a métrica destruiu o que ela media. É a lição de Goodhart aplicada a um anticolapso, e vale registrar ao lado do sucesso: medir com um intérprete funciona; treinar contra o intérprete, não. A palestra avisa que toda medida de informação é um limite superior — usá-la como alvo é escolher o atalho que o limite superior não vê.

Lido pelo intérprete, o quadro fica sem ambiguidade: os cinco encoders de nível 2 aprendidos perderam informação, todos, em relação à média crua da própria rodada — de 0,78 para 0,30–0,76 na reconstrução do bloco, e de 0,24 para −0,26–0,22 na antecipação do bloco seguinte. Nenhum regularizador impediu. O SigReg-s2 preservou a reconstrução (0,756) mas perdeu metade da antecipação (0,116) — blocos gaussianos e independentes carregam o próprio bloco e nada do seguinte, que é o que a ortogonalidade (cos 0,10) já dizia. A norma fixa foi a que menos perdeu na antecipação (0,221), mas leva todos os blocos à mesma direção (cos 1,000), o que o intérprete linear ainda consegue ler e o preditor de nível 2 não. O VICReg, o único que manteve a continuidade, foi o que mais perdeu (R² negativo: o estado abstrato antecipa o bloco seguinte pior que a média constante). E a última coluna diz por que o teste de horizonte da apostila 11 enganou: "nível 2 prevê mais longe" era verdade na régua de cada encoder, mas a régua encolhia junto — a sonda, que não vê escala, mostra que o que se previa era cada vez menos. A média crua, que não aprende nada, é a única abstração que carrega o bloco inteiro e um quarto do seguinte.

10 O que as buscas viraram em código

As 74 buscas da apostila 10 §8 foram auditadas com uma pergunta: o trecho pede um algoritmo que ainda não existe aqui? Sete pediam. Cada um virou uma peça aditiva — flag, parâmetro da bancada ou script — e, quando exige treino, uma rodada na fila. Nada do que existia mudou de comportamento.

Três trechos foram auditados e não viraram código, com o motivo: "informação relativa" no nível 1 já tem intérprete (a cabeça de tokens e a cross-entropy são o intérprete do estado z); "o custo é usado na inferência, não no aprendizado" já é como as cabeças funcionam; e "consciência", "retina", "Stargate" são contexto. A regra que fica: um trecho vira código quando há uma medida que diga se ele se sustenta.

11 Seis trechos, seis algoritmos — e o que cada um deu

A regra desta seção é a que vale para a apostila inteira: um trecho de LeCun não está aplicado enquanto não existe um algoritmo que ele descreve e uma medida que diga se ele se sustenta. Seis trechos estavam na tabela da apostila 10 como justificativa de algo que já existia. Cada um virou uma peça nova, medida no mapa wm1n2-sz1.

1. "Uma dependência, não uma função" → energia de dependência

A palestra (#279–280): entre x e y "não há um y por x; é uma relação, não uma função", e o jeito de capturá-la é uma energia baixa nos pares compatíveis. O nosso mapa é uma função — Pred(z_t, a_t) — porque condiciona na ação. A dependência aparece quando a ação não é dada: de z_t saem tantos estados quantas ações plausíveis. A peça é a energia de um estado-alvo como o mínimo, sobre as k ações mais prováveis da política, do erro de predição: E(z_t, z′) = min_{a ∈ top-k} ‖Pred(z_t, e_a) − z′‖² — baixa em todo estado que alguma ação explica, alta no que nenhuma explica (Transformer.energia_dependencia). É a paisagem da palestra com um vale por ação. A régua é a violação de expectativa da apostila 05, agora sem depender do token que de fato veio:

Funciona, e separa mais. Dado o token, a ordem destruída sobe o erro 38%; sem dar o token, a energia de dependência sobe 130–142%: nenhuma das oito ações plausíveis leva àquele estado. A troca de documento, que é semanticamente plausível, sobe pouco nas duas réguas (+30% e +34%) — a dependência distingue a violação do mundo (ordem, sequência) da violação de assunto. É a régua de senso comum que a apostila 05 não tinha: o que a palestra chama de "o erro dispara no impossível" fica três vezes mais nítido quando a pergunta é "alguma ação explica isto?" em vez de "a ação que veio explica isto?".

2. "O bebê joga os brinquedos para ver" → experimentação ativa; 6. "O EMA veio para estabilizar a variância" → alvo estabilizado

O laço de correção da apostila 09 treinava o mapa em todas as trajetórias coletadas, com o alvo do próprio modelo em movimento. Duas peças: --active corrige só nas sequências em que a surpresa/piso ficou acima da mediana — o experimento é onde a expectativa falhou —, e --target-ema fornece os alvos de uma cópia EMA (a ideia original do EMA, "estabilizar a variância" no RL do DeepMind, #420), para o mapa corrigido não perseguir o próprio alvo.

Não piora, e não generaliza. O mesmo que a correção cheia da apostila 09 (0,161 → 0,159 no teste): o mapa decora as trajetórias que viu e não muda no que não viu. Escolher só as sequências de maior surpresa não mudou isso, e o alvo estabilizado tampouco. A leitura honesta: neste orçamento a surpresa não é sistemática — o mapa erra em lugares diferentes a cada texto —, e corrigir onde errou não ensina onde vai errar. A palestra manda usar RL "só quando o plano não dá o resultado previsto"; a peça está pronta para quando houver erro sistemático (um domínio novo, um estilo), que é onde ela tem o que corrigir.

3. "Não sei quanto o táxi demora" → subobjetivo persistente com chegada

O plano de nível 2 da apostila 09 era refeito a cada token. A palestra (#151–163) diz que o plano alto não sabe quanto tempo cada etapa leva — diz onde chegar. A peça: o subobjetivo fica fixo até o estado chegar perto dele (cosseno ≥ limiar) ou a paciência acabar (compass.subgoal_until).

Piorou, e a régua era metade da causa. Com cosseno 0,9 como chegada e a régua do token, o estado nunca chega: em 16 subobjetivos, zero chegadas, cosseno médio 0,41 — um subobjetivo é uma direção abstrata de bloco, e o estado de um token não a alcança — então o plano fica velho pelos 8 tokens da paciência e o nível 1 persegue um alvo que já não corresponde ao contexto. A correção é medir a chegada com a mesma régua que gerou o subobjetivo: o estado abstrato do bloco corrente (abstrair dos últimos 8 estados) contra o subobjetivo. Com ela o estado chega (cosseno médio 0,58; a 0,9 chegam 3 de 19, a 0,7 chegam 65 de 74, a 0,5, 95 de 101) e a afinidade volta a 0,245 com PPL 18,0 — exatamente o replanejamento a cada token, nem mais nem menos. O que a régua certa comprou foi deixar de piorar; o que a persistência não comprou foi rumo: um subobjetivo mantido por 8 tokens vale 0,03 a menos que um refeito a cada token (0,216 a 0,9), e um mantido até chegar vale o mesmo. A leitura é a da fala sobre os 10 ms (§10): num bloco de 8 tokens, o "onde chegar" do nível 2 fica a um ou dois tokens do estado atual — chega-se antes de a persistência ter o que persistir. O trecho está certo sobre o que o plano alto não sabe; para a persistência valer, o passo de nível 2 precisa ser mais longo que a paciência — é a rodada --world-block 32 da tabela da §10, que a régua do bloco agora consegue medir. A régua do bloco fica como padrão na bancada.

4. "Uma medida diferenciável de informação" → a sonda no treino

É a peça da §9, --world-enc2-probe: a rodada sd1 está na fila e a tabela da §9 recebe a linha quando fechar.

5. "A porta está aberta? — duas amostras" → custo por protótipo

A palestra (#487–491) diz que um custo de tarefa "basicamente exige duas amostras". A peça literal: sem regressão, a direção entre a média dos estados de uma frase positiva e de uma negativa, limiar no meio (costs.py --prototype).

Duas amostras não bastam neste espaço. O protótipo põe código Python (0,680) acima de futebol (0,471): a direção entre duas frases carrega o que as distingue e tudo o mais em que elas diferem. Como custo, não governa (0,284 contra 0,292 livre). A palestra fala de representações de vídeo onde "a porta está aberta" é uma direção limpa; num encoder de 7,4 M treinado em texto, a direção limpa precisa de dez frases e de uma regressão que desconte o resto. A peça fica na bancada como o controle de "quantas amostras" — o número, aqui, é dez, não duas.

E os dois que a §10 deixou em teste

Candidatos adaptativos (política para o rumo; latente só quando os candidatos da política já violam o guardrail): no prompt "1, 2, 3,", 0,0% de dígitos só no estado imaginado nos dois mapas (wm1n2-sz1 e wm0.1-sz1) — o mesmo que os candidatos do latente —, e a afinidade do rumo fica em 0,344, igual à da política. A regra "candidatos da política para o rumo, do latente para a restrição" tem agora um só conjunto de candidatos que serve aos dois, e o "não dá para jailbreakar" vale sem custo de rumo. Desconfiar do mapa (confiar_se_surpresa = 1: o token seguinte a uma surpresa acima do piso fica com a política): afinidade 0,385 contra 0,344, com PPL 85 contra 70 e 86% dos tokens planejados — mais rumo com menos planejamento, ao preço de plausibilidade. O trecho "RL só quando o plano falha" tem uma versão de inferência: não corrigir o mapa, só não confiar nele no passo seguinte.

12 Três trechos que só um treino responde

Os seis algoritmos da §11 cabiam na inferência: bastava mudar o planejador ou a régua e medir. Três trechos de LeCun não cabem — pedem um objetivo de treino diferente, e por isso só a rodada responde. Ficam aqui as três perguntas e as três tabelas, escritas antes dos números. As células são preenchidas quando cada rodada fecha.

12.1 Mascarar, e prever a representação do que foi tapado

A palestra descreve a receita da JEPA em texto sem rodeio: "corrompa ou mascare a entrada e preveja a representação do original, não a entrada". O nosso modelo de mundo prevê o próximo estado; nunca prevê um estado tapado no meio. A peça é --world-mask p: com probabilidade p, um bloco do meio da janela é trocado por um vetor de máscara aprendido, e o estado das posições mascaradas tem de prever o estado que ali estaria — a mesma perda do mapa, com o alvo no meio em vez de à frente. É o I-JEPA aplicado a texto, e a pergunta é se um alvo no meio ensina algo que o alvo à frente não ensina.

A máscara aprende, e custa o mesmo. Prever o bloco tapado no meio dá erro 0,093 contra um piso de 0,114 — um ganho de 19% sobre copiar o bloco anterior. Não é o ganho do mapa à frente (0,167 contra 1,072, quase sete vezes), mas é claramente diferente de zero: um alvo no meio da janela ensina algo. E o preço ao gerador é +8,79%, indistinguível dos +9,55% do mesmo mapa sem máscara pela régua de ruído da §12.3. A peça entra de graça.

O que ela ainda não mostrou é para que serve. Um ganho de 19% sobre o piso é um número de treino; a pergunta é se o mapa com máscara governa melhor, detecta violação melhor ou fecha o guardrail melhor. Isso é a bateria, e ela responde na linha que falta desta tabela.

12.2 Blocos de uma frase: "não dá para planejar em ações de 10 ms"

A palestra descarta o planejamento no passo mais fino: "você não pode planejar em termos de ações de dez milissegundos — não faz sentido; por isso o planejamento é hierárquico". A §11 mediu a mesma coisa por outro lado: com blocos de 8 tokens, o subobjetivo de nível 2 fica a um ou dois tokens de distância, chega-se antes de a persistência valer, e manter o plano não rende nada sobre refazê-lo. O bloco de 8 é o nosso "10 ms". A rodada troca o bloco por 32 tokens — uma frase — com o latente ζ ligado, que é onde a incerteza do bloco deveria aparecer.

As duas rodadas foram refeitas na mesma placa em 17/09 (a de bloco 8 tinha sido sobrescrita pela de 32 em 11/09; a de 32 repetiu os números de então até a quarta casa). As duas perguntas saíram com a mesma resposta: não.

• O ζ não passou a escolher entre futuros. A dispersão entre oito futuros amostrados, em fração do erro do futuro médio, ficou em 17% no nível 1 e caiu de 16% para 12% no nível 2. O ganho de escolher o melhor de oito amostras é parecido nos dois blocos (26% e 29% abaixo de uma amostra no nível 2). Com uma frase por bloco, o ζ continua tremendo em volta da média.
• O subobjetivo continua perto. Blocos de 32 tokens seguidos já são muito parecidos entre si: o cosseno entre um bloco e o seguinte é 0,879, contra 0,781 nos de 8. Com o limiar de chegada 0,7, abaixo dessa semelhança, o subobjetivo é alcançado em 1,4 token em média (259 chegadas em 266). Com 0,9, chega em 31 de 43, a cada 9 tokens. Nos blocos de 8, o mesmo 0,9 chega só 2 vezes em 50. A distância cresceu, mas medida pelo cosseno do bloco o subobjetivo não ficou longe.
• O custo é o mesmo. +7,85% contra +8,40%: meio ponto, dentro do desvio entre sementes da §12.3. O nível 2 com blocos de 32 ainda prevê melhor que copiar (0,052 contra 0,076), mas rolar o nível 1 por 8 tokens fica pior que copiar (0,099), porque 8 tokens não chegam ao bloco seguinte. O leme governa nos dois (afinidade 0,392 e 0,382 contra 0,275 livre).

A leitura muda de lugar: a régua de chegada precisa de um limiar acima da semelhança natural entre blocos seguidos, e não de blocos maiores. Com um limiar que já é atingido copiando o bloco atual, "chegar" não mede plano nenhum.

12.3 Sementes: "cérebros ligeiramente diferentes"

A entrevista, sobre por que dois sistemas treinados igual não são o mesmo sistema: "os cérebros são ligeiramente diferentes, e a diversidade é a força da tribo". A fila inteira desta coleção rodou com uma semente só (1337). Toda diferença de 0,5% que lemos até aqui pode ser ruído de inicialização, e não temos como saber sem repetir. A rodada repete a síntese (reg1-lat1o) com as sementes 2 e 3, e o relatório passa a somar média ± desvio por nome de rodada.

O desvio entre sementes é 0,038, e isso muda a leitura de várias frases desta coleção. Três treinos idênticos, mudando só o número que inicializa os pesos, dão 5,2233, 5,2867 e 5,2924 de validação. A diferença entre a melhor e a pior semente é 0,069 — maior que a diferença entre muitas rodadas que esta coleção comparou como se fossem distintas. O controle desta mesma fila deu 5,2577. São duas medidas do mesmo controle: 5,2706 é a da rodada original do duelo, usada como base das apostilas 03 a 13; 5,2577 é a registrada no histórico de treino atual da rodada, usada a partir daqui e nas apostilas 15 e 16. A diferença, 0,013, é menor que o desvio entre sementes medido nesta seção — pela régua abaixo, as duas bases dão a mesma leitura. A síntese reg1-lat1o, que a apostila 04 registrou como ganhando 0,65% sobre o controle, tem média de 5,2675 contra 5,2577: +0,19%, dentro do ruído. O ganho não desapareceu porque estava errado; ele nunca teve barra de erro, e agora tem.

A régua que sai daqui vale para tudo o que veio antes: diferença de validação menor que ~0,04 (0,75%) não é resultado. Pela régua nova, o alvo EMA (−0,33% contra o controle) e o stop-grad (+0,14%) estão empatados com o controle e entre si — a apostila 13 §4 os ordenava, e a ordem não se sustenta. O que continua de pé é tudo que separa por margens grandes: o SigReg-z ponta a ponta (+9,6%), o InfoNCE (+23,9%), a hierarquia (+8,8%). O que cai são os empates técnicos que foram lidos como vitórias.

O desvio é o mesmo em todas: 0,84% da perda, quatro vezes em quatro. Isso transforma o achado de "uma rodada deu ruído grande" em régua: qualquer diferença abaixo de ~0,9% não é resultado, e qualquer uma acima de ~2,5% (três desvios) é. A síntese reg1-lat1o, que a apostila 04 registrou como +0,65%, mede agora −0,13% contra o controle: empatada, e o sinal até trocou. As duas hierarquias, ao contrário, estão separadas por 0,37 de perda — oito desvios — e essa ordem se sustenta: o alvo EMA custa 1,15% onde o SigReg-z custa 8,17%.

A entrevista tinha dito isso por outro caminho: "os cérebros são ligeiramente diferentes, e a diversidade é a força da tribo". A fala é sobre não haver um cérebro canônico. A tradução experimental é que uma rodada só não é uma medida — é uma amostra de uma distribuição cuja largura ninguém tinha medido. Custou três minutos de placa descobrir que a largura é 0,038.