Antevisão · Latent Rehearsal
O que muda quando um modelo de linguagem prevê no espaço latente e decide por energia — um ELLM —, e como isso sai da teoria e vira prática, com resultados medidos, inclusive os negativos.
Não é um curso. É um experimento de comprovação e melhoria contínua: cada peça é medida contra um controle, o que falha fica registrado com o mesmo destaque do que funciona, e a rodada seguinte parte do que a anterior mediu. Os capítulos são o diário desse experimento, na ordem em que aconteceu.
Para quem já entende o Transformer e quer acompanhar um experimento de verdade: um modelo de mundo que ensaia no espaço latente antes de emitir o token, medido rodada a rodada, com os erros registrados.
O que você sai sabendo: o que a JEPA é de verdade, por que o colapso acontece, como se escolhe por energia, e o que funcionou e o que não funcionou, com número.
Experimento em andamento · atualizado em 12 de set. de 2026
Estado do experimento
Lido direto do histórico de treino de cada rodada. Nenhum número escrito à mão.
60rodadas medidas
41duelos completos
3melhoraram o gerador
35custaram ao gerador
0resultados na fila
21capítulos
Na fila
Células que ainda dizem 'aguardando' nas apostilas. Cada uma vira número quando a rodada fecha.
O que já fechou
As seis melhores rodadas do duelo contra o controle. A tabela completa está mais abaixo.
| Rodada | Validação | vs controle |
|---|---|---|
reg1-lat1ocosseno + compass PROFUNDA | 5.2233 | -0.65% |
reg1-wm1emav3 com alvo do professor EMA, I-JEPA (correcao) | 5.2405 | -0.33% |
reg1-bar0.5-lat1ocompass profunda + Barlow Twins | 5.2442 | -0.26% |
dueloRoPE + RMSNorm + SwiGLU, sem regularizador | 5.2616 | +0.07% |
reg1-wm1detv3 controle: stop-grad, sem SigReg-z | 5.2653 | +0.14% |
reg1-lat1o-s2semente 2cosseno + compass PROFUNDA | 5.2867 | +0.55% |
Diário dos capítulos
Um capítulo por peça, na ordem em que o experimento aconteceu. O selo diz se a rodada que fecha o capítulo já rodou.
- 00Antevisão: um ELLM, um modelo de linguagem que ensaia no latente antes de falarUm LLM escolhe o próximo token e descobre depois onde foi parar. Nós construímos um que imagina antes: um ELLM.destaquefechadoatualizado 12 de set.
- 01O tokenizador próprio: por que 16 mil tokens servem melhor a este corpus que 50 mil, e o que a tabela inteira mostraUm modelo de 7 milhões de parâmetros gastou menos bits que o GPT-2 de 124 milhões em português. Não porque é melhor.fechadoatualizado 12 de set.
- 02Duas arquiteturas, um arquivo: o duelo justo entre 2019 e o que veio depoisUma peça nova é apresentada nas condições de quem a criou. Refizemos a comparação nas nossas: mesmos dados, mesma semente, mesmo orçamento.fechadoatualizado 12 de set.
- 03A geometria do embedding: o treino começa com um espaço perfeito e o estragaTentamos busca semântica com o RoBERTa. Todas as similaridades deram acima de 0,99. Frases sobre assuntos opostos pareciam idênticas.fechadoatualizado 12 de set.
- 04A linhagem do colapso: cinco respostas da visão computacional, cada uma medida em textoUm sistema treinado para prever no latente tem uma solução trivial: ignorar a entrada e devolver sempre o mesmo vetor. Predição perfeita e inútil.fechadoatualizado 12 de set.
- 05O leme e o modelo de mundo: três versões da mesma pergunta, medidas contra a anteriorA pergunta é uma só: o modelo sabe para onde vai antes de ir?destaquefechadoatualizado 12 de set.
- 06Método e erros: as regras de uma comparação legítima e o catálogo dos nossos enganosMetade das melhores decisões deste projeto veio de descobrir que estávamos errados.fechadoatualizado 12 de set.
- 07Escala e orçamento: quanto custa chegar ao GPT-3, e por que a VRAM quase nunca é o limiteChegar à escala do GPT-3 Small custa menos de oito horas de uma única GPU. O que falta não é placa. É texto.fechadoatualizado 12 de set.
- 08A bancada: servir, radiografar e treinar pelo navegadorMedimos onde o tempo de uma requisição vai. 93,3% é a geração serial, token a token.fechadoatualizado 12 de set.
- 09A arquitetura hierárquica: o projeto inteiro alinhado aos quatro padrões do modelo de mundoLeCun tem um slide com quatro linhas: abandone X em favor de Y. Auditamos o nosso código contra cada uma.fechadoatualizado 12 de set.
- 10O que a JEPA é, segundo LeCun: duas falas lidas conceito por conceito, e onde cada um se aplicaO vídeo que inspirou tudo: Yann LeCun explicando o que falta aos LLMs para entender o mundo. Lemos conceito por conceito e aplicamos em texto.fechadoatualizado 12 de set.
- 11Memória e horizonte: duas afirmações de LeCun que viraram experimento, e as duas valem para textoLeCun diz: cada nível de abstração prevê mais longe que o de baixo. Medimos. Vale para texto.fechadoatualizado 12 de set.
- 12Custos aprendidos e modos de inferência: as três buscas e as duas fontes de energia, medidasNa primeira leitura, nenhum modo de inferência governava. A geração livre tinha mais rumo que qualquer planejador.destaquefechadoatualizado 12 de set.
- 13As correções pelas falas de LeCun: falha, trecho, flag, medidaUma fila de 22 rodadas deixou quatro falhas medidas. Levamos cada uma de volta ao texto de LeCun com uma pergunta só.destaquefechadoatualizado 12 de set.
- 14Memória consultada: um banco de estados abstratos lido por atençãoA memória somada persiste, mas dilui: o passado inteiro vale menos que cada metade sozinha.fechadoatualizado 12 de set.
- 15O que custa e o que entrega: nós, o GPT-1 e o GPT-2 na única régua que vale entre tokenizadores"Nosso modelo tem perplexidade 31, o GPT-2 tem 29, então o GPT-2 é melhor." Isso não significa nada.fechadoatualizado 12 de set.
- 16O mínimo estava fora da lista: o dia em que medi a minha própria busca por energiaPassei semanas dizendo que o meu sistema escolhia a próxima palavra "buscando a menor energia". Fui medir. Em 96 testes, ele não achou a menor energia uma única vez.destaquefechadoatualizado 12 de set.
- 17ELLM: o nome certo para um modelo de linguagem que prevê no latente e decide por energiaChamei o meu modelo de LLM por meses. O nome estava errado — e não por causa do tamanho.destaquefechado
- 18Procurar melhor não conserta a energia: três buscas, o mesmo textoConsertei a busca do meu modelo para achar a menor energia de verdade, entre 16.392 opções. O texto não melhorou.recentedestaquefechado
- 19A inversão que não se repetiu: o custo do modelo de mundo aparece quando a régua para de oscilarEscrevi num capítulo que o meu modelo de mundo deixava o gerador 3,38% melhor. Com mais sementes e uma régua consertada, ele custa.recentedestaquefechado
- 20O que mudou em 17/09: dois capítulos novos e duas correçõesNum dia, o experimento ganhou dois capítulos e corrigiu duas afirmações que eu já tinha publicado.recentefechado
PDF
A coleção inteira em PDF, no seu e-mail
Os 21 capítulos, em português, inglês ou os dois. Deixe o e-mail e os links chegam num só envio. Você entra na lista e recebe os textos novos quando saírem — para sair, é um clique no fim de qualquer e-mail.
Experimento em andamento
As rodadas do duelo
Mesmos dados, mesmos 700 passos, mesma semente. Validação do melhor checkpoint; a diferença é contra o controle.
| Rodada | O que testa | Validação | vs controle | Ganho do mapa | Capítulo |
|---|---|---|---|---|---|
reg1-lat1o | cosseno + compass PROFUNDA | 5.2233 | -0.65% | — | 0405091112131418 |
reg1-wm1ema | v3 com alvo do professor EMA, I-JEPA (correcao) | 5.2405 | -0.33% | +0.76 | 1013 |
reg1-s2semente 2 | + regularizador de cosseno (o CONTROLE) | 5.2409 | -0.32% | — | |
reg1-bar0.5-lat1o | compass profunda + Barlow Twins | 5.2442 | -0.26% | — | |
reg1controle | + regularizador de cosseno (o CONTROLE) | 5.2577 | 0.00% | — | 000204050609101315161819 |
duelo | RoPE + RMSNorm + SwiGLU, sem regularizador | 5.2616 | +0.07% | — | 0006091618 |
reg1-wm1det | v3 controle: stop-grad, sem SigReg-z | 5.2653 | +0.14% | +0.84 | 040509121316 |
reg1-lat1o-s2semente 2 | cosseno + compass PROFUNDA | 5.2867 | +0.55% | — | |
reg1-lat1o-s3semente 3 | cosseno + compass PROFUNDA | 5.2924 | +0.66% | — | |
reg1-wm1n2eema-s2semente 2 | hierarquia + encoder de nivel 2 + alvo EMA (correcao) | 5.2976 | +0.76% | +0.83 | |
reg1-wm1n2eema | hierarquia + encoder de nivel 2 + alvo EMA (correcao) | 5.3221 | +1.22% | +0.80 | |
reg1-s3semente 3 | + regularizador de cosseno (o CONTROLE) | 5.3246 | +1.27% | — |
Fora do duelo
Rodadas no corpus completo, com orçamento maior. Não se comparam com o controle do duelo.
| Rodada | O que testa | Validação | Ganho do mapa | Capítulo |
|---|---|---|---|---|
reg1-s2-escala | 3.5762 | — | ||
reg1-s3-escala | 3.6091 | — | ||
reg1-s3-escalafixsemente 3 | 3.6136 | — | ||
reg1-wm1n2eema-escala | hierarquia + encoder de nível 2 + alvo EMA, no corpus completo | 3.6236 | +1.64 | |
reg1-s2-escalafixsemente 2 | 3.6237 | — | ||
reg1-wm1n2eema-s2-escala | 3.6401 | +1.62 | ||
reg1-escalafix | o controle no corpus completo, com lotes de validação fixos (apostila 19) | 3.6729 | — | 19 |
reg1-wm1n2eema-escalafix | hierarquia + alvo EMA no corpus completo, validação fixa: +1,77% em três sementes | 3.6841 | +1.68 | |
reg1-wm1n2eema-s3-escalafixsemente 3 | 3.7051 | +1.65 | ||
reg1-wm1n2eema-s2-escalafixsemente 2 | 3.7141 | +1.65 | ||
reg1-escala | o controle treinado no corpus completo (1 960 passos) | 3.7503 | — | 0002030405060709101112131415161719 |
reg1-wm1n2eema-s3-escala | 3.7974 | +1.60 |
estado lido das rodadas em 17 de set. de 2026.