O que mudou em 17/09: dois capítulos novos e duas correções
Uma nota de atualização para quem acompanha o experimento: o que fechou, o que foi corrigido, o que mudou no código e o que ficou aberto — com o link de cada capítulo.
Caiu aqui pelo LinkedIn? Este é o capítulo 20 do experimento Antevisão · Latent Rehearsal. Dá para ler solto; se quiser o começo, é o capítulo 00.
Num dia, o experimento ganhou dois capítulos e corrigiu duas afirmações que eu já tinha publicado. Fechei nove medidas em 17 de setembro. Duas delas derrubaram leituras que estavam no ar: a busca exata pelo mínimo da energia não melhora o texto (o que decide é a energia, não onde se procura), e o modelo de mundo não passa a render com mais dados — com a régua de validação consertada, ele custa 1,77% no modelo mini e 4,92% no pequeno. Entraram dois capítulos novos, quatro capítulos antigos mudaram números, e nenhuma célula ficou "aguardando" na coleção.
Os três pontos
- Capítulos novos: o 18, que mede o que a busca exata pela menor energia faz com o texto, e o 19, que refaz com mais sementes o resultado mais forte da coleção.
- Correções: o custo do modelo de mundo com o corpus completo (capítulo 15), o volume de energia baixa e a rodada contrastiva (16), os blocos de 32 tokens (13) e duas linhas do mapa conceito → código (10).
- No código, tudo aditivo: lotes de validação fixos no treino, busca por energia dentro do núcleo da política, e três opções novas para medir o volume de energia baixa.
O que a apostila cobre · 4 seções · 4 min
- Capítulos novos
- Capítulos que mudaram
- O que mudou no código
- O que ficou aberto
Todos os capítulos do experimento · Antevisão · Latent Rehearsal
- 00 · Antevisão: um ELLM, um modelo de linguagem que ensaia no latente antes de falar
- 01 · O tokenizador próprio: por que 16 mil tokens servem melhor a este corpus que 50 mil, e o que a tabela inteira mostra
- 02 · Duas arquiteturas, um arquivo: o duelo justo entre 2019 e o que veio depois
- 03 · A geometria do embedding: o treino começa com um espaço perfeito e o estraga
- 04 · A linhagem do colapso: cinco respostas da visão computacional, cada uma medida em texto
- 05 · O leme e o modelo de mundo: três versões da mesma pergunta, medidas contra a anterior
- 06 · Método e erros: as regras de uma comparação legítima e o catálogo dos nossos enganos
- 07 · Escala e orçamento: quanto custa chegar ao GPT-3, e por que a VRAM quase nunca é o limite
- 08 · A bancada: servir, radiografar e treinar pelo navegador
- 09 · A arquitetura hierárquica: o projeto inteiro alinhado aos quatro padrões do modelo de mundo
- 10 · O que a JEPA é, segundo LeCun: duas falas lidas conceito por conceito, e onde cada um se aplica
- 11 · Memória e horizonte: duas afirmações de LeCun que viraram experimento, e as duas valem para texto
- 12 · Custos aprendidos e modos de inferência: as três buscas e as duas fontes de energia, medidas
- 13 · As correções pelas falas de LeCun: falha, trecho, flag, medida
- 14 · Memória consultada: um banco de estados abstratos lido por atenção
- 15 · O que custa e o que entrega: nós, o GPT-1 e o GPT-2 na única régua que vale entre tokenizadores
- 16 · O mínimo estava fora da lista: o dia em que medi a minha própria busca por energia
- 17 · ELLM: o nome certo para um modelo de linguagem que prevê no latente e decide por energia
- 18 · Procurar melhor não conserta a energia: três buscas, o mesmo texto
- 19 · A inversão que não se repetiu: o custo do modelo de mundo aparece quando a régua para de oscilar
- 20 · O que mudou em 17/09: dois capítulos novos e duas correções
Escreve o curso do GPT-2 e conduz o experimento Antevisão, medindo cada rodada antes de publicar o número. Os posts no LinkedIn começam aqui e terminam nas apostilas.
Seguir no LinkedIn →