A inversão que não se repetiu: o custo do modelo de mundo aparece quando a régua para de oscilar

Escrevi num capítulo que o meu modelo de mundo deixava o gerador 3,38% melhor. Com mais sementes e uma régua consertada, ele custa. O resultado era de uma rodada só: o gerador sozinho a 3,7503 de perda, com o modelo de mundo a 3,6236. Com as sementes 2 e 3, o mapa voltou a custar. E ao investigar por quê, achei o problema na régua: a cada avaliação o treino sorteava uma amostra nova da validação, e o mesmo modelo quase pronto marcava 3,576 num passo e 3,719 no fim — uma oscilação maior que o efeito que eu media. Fixei os lotes de validação e refiz o par inteiro: três sementes do mini e duas do pequeno. Com a régua limpa, o desvio entre sementes caiu de 2,5% para 0,87% da perda, e o custo do modelo de mundo apareceu em todas as rodadas: +1,77% no mini, +4,92% no pequeno.

Os três pontos

1. Com as sementes 2 e 3, o modelo de mundo volta a custar. O −3,38% saiu de uma semente favorável, num protocolo em que a validação sorteada oscilava mais que o próprio efeito: 3,576 num passo, 3,719 no fim do mesmo treino.
2. Com os lotes de validação fixos, o desvio entre sementes cai de 2,5% para 0,87% da perda no mini, e para quase zero no pequeno. Quase todo o ruído vinha do sorteio da amostra, não da inicialização.
3. Com a régua limpa, o custo aparece nas cinco comparações: +1,77% no mini (3 sementes) e +4,92% no pequeno (2 sementes). Mais orçamento não inverte o sinal; o custo cresce com o tamanho do modelo.

Da apostila, o começo

A apostila 15 registrou que, com dados suficientes, o modelo de mundo deixava de custar ao gerador e passava a render 3,38%. Era uma semente só. Com mais sementes, e depois com uma medida de validação que parou de oscilar, o custo aparece em todas as rodadas — e cresce com o tamanho do modelo.

A apostila 15 treinou o mini no corpus inteiro, com o orçamento de Chinchilla (1.961 passos, 64 milhões de tokens), de duas formas: só o gerador, e o gerador com o modelo de mundo hierárquico de alvo EMA — a receita que tinha ido melhor na apostila 13. O gerador sozinho chegou a 3,7503 de perda de validação; com o modelo de mundo, a 3,6236. Isso é 3,38% melhor, e a apostila leu o resultado como uma inversão: no treino curto da coleção o mapa custava cerca de 1%, e com dados suficientes passaria a render.

A leitura tinha uma explicação razoável — com poucos dados, prever o próximo estado compete com o gerador pela mesma capacidade; com muitos, funciona como regularizador — e combinava com o que se espera de uma arquitetura preditiva. Mas vinha de uma rodada de cada lado, com uma semente só, num regime em que o desvio entre sementes nunca tinha sido medido. A apostila 13 §12.3 mediu esse desvio no duelo: cerca de 0,84% da perda. Na escada, ninguém tinha medido.