Rafhael Oliveira · IA

As correções pelas falas de LeCun: falha, trecho, flag, medida

Quatro falhas da fila, cada uma respondida por um trecho das duas falas, virada em código aditivo e medida na mesma verba.

1 min de leitura· apostila: 58 min· Experimento em andamento · capítulo atualizado em 12 de set. de 2026

Caiu aqui pelo LinkedIn? Este é o capítulo 13 do experimento Antevisão · Latent Rehearsal. Dá para ler solto; se quiser o começo, é o capítulo 00.

Uma fila de 22 rodadas deixou quatro falhas medidas. Levamos cada uma de volta ao texto de LeCun com uma pergunta só. O que a fala diz que ainda não fizemos? A memória que persistia mas não governava. O encoder de nível 2 que colapsou três vezes, por três portas diferentes. O modelo de mundo que custa ao gerador. O guardrail que só agia no estado real. Três das quatro já tinham recebido uma correção por tentativa, e cada uma abriu outra porta. A diferença aqui é a ordem: primeiro o trecho, depois a flag. A memória com dropout passou a governar: custo de 7,77% para 6,46%, e o leme voltou a mandar. A regra da casa é fazer funcionar, não descartar.

Os três pontos

  1. A memória que não governava: metade dos lotes treina sem memória. Resultado: o leme governa (0,301 contra 0,224 da livre), com custo menor.
  2. O encoder de nível 2 que colapsou: anticolapso por dimensão, e depois um intérprete, porque toda medida de informação é limite superior.
  3. O que muda na teoria: em texto, com a ação igual ao token, o modelo de mundo é um preditor de transições, não de tokens. O que a JEPA elimina em vídeo já vem eliminado pela ação discreta.

Da apostila, o começo

A fila de 22 rodadas deixou quatro falhas medidas: a memória que não governava, o encoder de nível 2 que colapsou três vezes, o modelo de mundo que custa ao gerador, e o guardrail que só agia no estado real. Esta apostila volta às duas falas de LeCun, acha em cada uma o trecho que responde à falha, transforma o trecho numa flag e a flag numa rodada — e mede.

A regra da casa é fazer funcionar, não descartar. Cada falha da fila foi levada de volta ao texto de LeCun com uma pergunta só: o que a fala diz que ainda não fizemos? A resposta virou código aditivo (nenhuma rodada anterior muda de comportamento) e uma rodada nova na mesma verba das outras (700 passos, semente 1337, controle reg1 em 5,2706).

Três das quatro falhas já tinham recebido uma correção de tentativa (o SigReg no nível 2, a norma fixa, o custo no estado real) e cada uma abriu outra porta. A diferença desta apostila é a ordem: primeiro o trecho, depois a flag. Se a rodada falhar, a falha é da leitura ou da escala — e as duas ficam registradas.

Continuar lendo a apostila 13 →Read in EnglishOs PDFs por e-mail →
O que a apostila cobre · 12 seções · 58 min
  1. O método: falha → trecho → flag → medida
  2. A memória que não governava
  3. O encoder de nível 2: anticolapso por dimensão
  4. O custo ao gerador: a família que escalou
  5. O guardrail no estado imaginado
  6. O que muda no projeto
  7. Pesquisando mais: onde está o imprevisível
  8. Duas dúvidas a mais, com número
  9. A informação do nível 2, medida por um intérprete
  10. O que as buscas viraram em código
  11. Seis trechos, seis algoritmos — e o que cada um deu
  12. Três trechos que só um treino responde
Todos os capítulos do experimento · Antevisão · Latent Rehearsal
  1. 00 · Antevisão: um ELLM, um modelo de linguagem que ensaia no latente antes de falar
  2. 01 · O tokenizador próprio: por que 16 mil tokens servem melhor a este corpus que 50 mil, e o que a tabela inteira mostra
  3. 02 · Duas arquiteturas, um arquivo: o duelo justo entre 2019 e o que veio depois
  4. 03 · A geometria do embedding: o treino começa com um espaço perfeito e o estraga
  5. 04 · A linhagem do colapso: cinco respostas da visão computacional, cada uma medida em texto
  6. 05 · O leme e o modelo de mundo: três versões da mesma pergunta, medidas contra a anterior
  7. 06 · Método e erros: as regras de uma comparação legítima e o catálogo dos nossos enganos
  8. 07 · Escala e orçamento: quanto custa chegar ao GPT-3, e por que a VRAM quase nunca é o limite
  9. 08 · A bancada: servir, radiografar e treinar pelo navegador
  10. 09 · A arquitetura hierárquica: o projeto inteiro alinhado aos quatro padrões do modelo de mundo
  11. 10 · O que a JEPA é, segundo LeCun: duas falas lidas conceito por conceito, e onde cada um se aplica
  12. 11 · Memória e horizonte: duas afirmações de LeCun que viraram experimento, e as duas valem para texto
  13. 12 · Custos aprendidos e modos de inferência: as três buscas e as duas fontes de energia, medidas
  14. 13 · As correções pelas falas de LeCun: falha, trecho, flag, medida
  15. 14 · Memória consultada: um banco de estados abstratos lido por atenção
  16. 15 · O que custa e o que entrega: nós, o GPT-1 e o GPT-2 na única régua que vale entre tokenizadores
  17. 16 · O mínimo estava fora da lista: o dia em que medi a minha própria busca por energia
  18. 17 · ELLM: o nome certo para um modelo de linguagem que prevê no latente e decide por energia
  19. 18 · Procurar melhor não conserta a energia: três buscas, o mesmo texto
  20. 19 · A inversão que não se repetiu: o custo do modelo de mundo aparece quando a régua para de oscilar
  21. 20 · O que mudou em 17/09: dois capítulos novos e duas correções

Antes disto: o curso do GPT-2

Rafhael Oliveira
Rafhael Oliveira

Escreve o curso do GPT-2 e conduz o experimento Antevisão, medindo cada rodada antes de publicar o número. Os posts no LinkedIn começam aqui e terminam nas apostilas.

Seguir no LinkedIn →