A inversão
que não se repetiu

1 O que estava escrito

A apostila 15 treinou o mini no corpus inteiro, com o orçamento de Chinchilla (1.961 passos, 64 milhões de tokens), de duas formas: só o gerador, e o gerador com o modelo de mundo hierárquico de alvo EMA — a receita que tinha ido melhor na apostila 13. O gerador sozinho chegou a 3,7503 de perda de validação; com o modelo de mundo, a 3,6236. Isso é 3,38% melhor, e a apostila leu o resultado como uma inversão: no treino curto da coleção o mapa custava cerca de 1%, e com dados suficientes passaria a render.

A leitura tinha uma explicação razoável — com poucos dados, prever o próximo estado compete com o gerador pela mesma capacidade; com muitos, funciona como regularizador — e combinava com o que se espera de uma arquitetura preditiva. Mas vinha de uma rodada de cada lado, com uma semente só, num regime em que o desvio entre sementes nunca tinha sido medido. A apostila 13 §12.3 mediu esse desvio no duelo: cerca de 0,84% da perda. Na escada, ninguém tinha medido.

2 Duas rodadas

Em 17/09, numa RTX 5090, o mesmo par foi treinado com as sementes 2 e 3, com os mesmos passos, o mesmo lote e o mesmo corpus. Antes disso, a rodada repetiu o controle do duelo, que deu 5,2577 de validação, o mesmo número da placa de 11/09 até a quarta casa: a máquina não é a fonte da diferença. Essa rodada trouxe também as medidas das apostilas 13 e 16.

O resultado dela apontou um problema na própria régua (§4), e por isso houve uma segunda rodada no mesmo dia, com a validação medida de outro jeito: seis rodadas do mini e quatro do pequeno, todas com --eval-seed, a opção nova que faz toda avaliação ler os mesmos lotes.

3 Três sementes, com a validação sorteada

Os dados não confirmaram a inversão. Nas duas sementes novas o mapa custa, e a média das três fica em +1,15% — o mesmo custo que a apostila 13 tinha medido no treino curto. A semente 1337 é a única em que o modelo com o mapa fica abaixo, e é também a semente em que o gerador sozinho teve o pior resultado das três (3,7503).

Só que o desvio aqui é grande demais para afirmar qualquer coisa: 0,0925 no gerador sozinho, 2,5% da perda, contra os 0,84% do duelo. A diferença entre as médias, 0,042, é menos da metade desse desvio. Com esta régua, nem a inversão nem o custo se sustentam.

4 Por que uma semente enganou

O desvio grande não vem só da inicialização. Ele começa dentro de cada rodada. A cada avaliação, o treino sorteia 20 lotes novos do conjunto de validação e mede a perda neles; duas avaliações seguidas do mesmo modelo quase não mudam os pesos, mas mudam a amostra.

Na semente 2, o gerador sozinho marca 3,576 no passo 1639 e 3,719 no fim do treino. São 0,14 de diferença entre duas medidas do mesmo modelo quase pronto — mais que os 0,127 que separavam as colunas da semente 1337 e sustentavam a inversão. O "melhor checkpoint" é o menor de 12 números desse tipo: ele escolhe, em cada rodada, a avaliação que caiu na amostra mais fácil. Comparar dois mínimos de medidas ruidosas compara, em boa parte, quem teve mais sorte no sorteio.

O conserto é pequeno e aditivo: model/train.py --eval-seed <n> faz toda avaliação ler os mesmos lotes de validação. Sem a opção, o comportamento continua o de antes, para não quebrar a comparação com o que já está registrado.

5 A mesma pergunta, com a régua limpa

Com os lotes fixos, o par inteiro foi treinado de novo: três sementes do mini e duas do pequeno, dos dois lados. Os números desta seção não se comparam com os da §3 — são amostras de validação diferentes —, mas se comparam entre si, que é o que a pergunta pede.

Três coisas mudam de status com esta tabela.

• O ruído era da amostra, não das sementes. O desvio entre sementes do gerador sozinho cai de 0,0925 para 0,0318 no mini — de 2,5% para 0,87% da perda, praticamente o mesmo 0,84% que a apostila 13 mediu no duelo. No pequeno, as duas sementes terminam a 0,0003 uma da outra. Sortear a validação respondia por quase toda a variação que parecia vir da inicialização.
• O custo do mapa aparece, e é consistente. Nas cinco comparações, em todas as sementes dos dois tamanhos, o modelo com o mapa fica acima do gerador sozinho. No mini a média é +1,77%, duas vezes o desvio entre sementes; no pequeno, +4,92%, vinte vezes o desvio.
• O custo cresce com o tamanho. De +1,77% no mini para +4,92% no pequeno, com o mesmo peso de perda e o mesmo decaimento de EMA. É o contrário do que a leitura da inversão sugeria — que mais orçamento faria o mapa render.

As curvas mostram onde o custo nasce. No mini, o modelo com o mapa vai melhor no meio do treino (3,888 contra 3,936 na sétima avaliação) e perde só no fim, quando o gerador sozinho continua descendo e ele desacelera. No pequeno, o mesmo acontece mais cedo e mais forte: da sexta avaliação em diante a curva com o mapa achata, e a distância entre as duas cresce até o fim. Quanto maior o modelo, mais cedo a perda do mapa parece competir com a do gerador.

6 O que muda na coleção

As frases da coleção sobre o custo do modelo de mundo ao gerador, medidas com 5,7 milhões de tokens, continuam valendo com 64 e com 212 milhões. O que não continua é a ideia de que mais dados, sozinhos, transformam esse custo em ganho: com esta receita, o custo persiste e aumenta com o tamanho. O que o mapa entrega em troca está medido em outras apostilas — o leme que governa a geração (12), a violação de expectativa e o guardrail (13) — e nada disso aparece na perda de validação.

7 Limites desta medida

• Três sementes no mini e duas no pequeno. Três é o mínimo para estimar um desvio, e o desvio estimado tem ele mesmo incerteza grande.
• Uma receita só de modelo de mundo (hierarquia com encoder de nível 2 e alvo EMA, decaimento 0,996), um peso de perda (1,0) e um orçamento por tamanho. Outro peso, ou outro decaimento, pode mudar a relação — e é a primeira coisa a testar.
• Os números com lotes fixos não se comparam com os das apostilas anteriores, que usaram validação sorteada. Dentro de cada régua, as comparações valem.

Treinos numa RTX 5090 em 17/09/2026 (cloud/round_1709.sh e cloud/round_1709b.sh). Dados em out/gpu_1709/, model/runs/*-escala e model/runs/*-escalafix.