A arquitetura hierárquica: o projeto inteiro alinhado aos quatro padrões do modelo de mundo

LeCun tem um slide com quatro linhas: abandone X em favor de Y. Auditamos o nosso código contra cada uma. Abandonar generativo por joint-embedding. Abandonar probabilístico por energia. Abandonar contrastivo por regularizado. Abandonar reforço por controle preditivo. Para cada linha: qual peça do nosso código a implementa, qual chave a liga, e se já está medida. Onde o projeto ainda faz X e Y ao mesmo tempo, está escrito com número. E mantivemos a cabeça de tokens de propósito, por três razões que a fala do LeCun não cobre. Uma delas: tirar a cabeça hoje seria tirar o instrumento de medida.

Os três pontos

1. Energia: os candidatos são reordenados por plausibilidade mais distância ao rumo. Implementado nos modos energy, gradient e mpc.
2. Controle preditivo: busca em feixe no latente é MPC em miniatura. E quando o plano não dá o resultado previsto, corrige-se o mapa, não o gerador. Razão de erro caiu de 1,303 para 0,713 e generalizou.
3. Por que a cabeça de tokens fica: produz texto, dá o guardrail que impede o planejador de sair da distribuição, e é a única régua comparável com tudo que existe.

Da apostila, o começo

O projeto inteiro, peça por peça, alinhado aos quatro padrões do modelo de mundo: joint-embedding, energia, regularização e controle preditivo — e o que ainda é híbrido, dito com número.

O slide "Recommendations to my fellow AI scientists" tem quatro linhas, cada uma um abandone X em favor de Y. Esta apostila é uma auditoria: para cada linha, qual peça do nosso código a implementa, qual chave a liga, e se já está medida. Onde o projeto ainda faz X e Y ao mesmo tempo, está escrito — porque a regra da casa é manter e melhorar, sem regressão, e não trocar o que funciona por uma promessa.

A fala defende que prever símbolos não basta para construir um modelo de mundo. Mesmo assim, o nosso decodificador de tokens faz três coisas que o modelo de mundo sozinho não faz: produz texto (o latente não é legível), dá o guardrail −log p que impede o planejador de sair da distribuição, e é a única régua comparável com tudo que existe (bits/caractere). Tirar a cabeça de tokens hoje seria tirar o instrumento de medida. E há uma razão mais forte, que a entrevista dá (apostila 10, §3): a intratabilidade que motiva a JEPA vale para sinais contínuos; em texto, discreto e finito, o softmax sobre o próximo token é a distribuição sobre os futuros. O plano é invertê-la de papel — de decisão para termo de energia — e é isso que os modos energy e mpc já fazem.