Método e erros: as regras de uma comparação legítima e o catálogo dos nossos enganos
Por que esta apostila existe, as cinco regras, e os erros que só apareceram quando alguém perguntou 'comparado com o quê?'.
Caiu aqui pelo LinkedIn? Este é o capítulo 06 do experimento Antevisão · Latent Rehearsal. Dá para ler solto; se quiser o começo, é o capítulo 00.
Metade das melhores decisões deste projeto veio de descobrir que estávamos errados. O regularizador de cosseno existe porque uma busca semântica falhou. A métrica de piso existe porque alguém perguntou 'comparado com o quê?'. Registrar só o que deu certo distorceria a leitura de todo o resto. Esta apostila registra as cinco regras que tornam uma comparação legítima e o catálogo completo dos enganos, inclusive os que o teste em CPU não pega. Quem repetir o projeto vai errar diferente. O tipo de erro se repete.
Os três pontos
- Regra 1: uma comparação só vale se a única coisa diferente for o que está sendo testado. Dados congelados, mesmos passos, mesma semente.
- Regra do piso: todo ganho é medido contra o mais simples possível. Copiar o estado, uma direção aleatória, a média crua.
- Quatro erros em detalhe, cada um com o que ensinou. E os erros que o teste em CPU não pega.
Da apostila, o começo
As regras que tornam uma comparação legítima, e o catálogo completo dos enganos deste projeto — inclusive os que só apareceram porque alguém perguntou "comparado com o quê?".
Registrar só o que deu certo distorceria a leitura de tudo o que vem depois. E há também uma razão prática: metade das melhores decisões deste projeto veio de descobrir que estávamos errados. O regularizador de cosseno existe porque uma busca semântica falhou. A métrica de piso da Bússola (a primeira versão do leme, que só previa a direção do próximo estado; no código, compass) existe porque uma medida bonita se revelou vazia.
Esta apostila registra as regras e os erros. Quem repetir o projeto vai errar diferente — mas o tipo de erro se repete.
O que a apostila cobre · 6 seções · 8 min
- Por que esta apostila existe
- As cinco regras
- O catálogo
- Quatro erros em detalhe
- Os erros que o teste em CPU não pega
- Os princípios, destilados
Todos os capítulos do experimento · Antevisão · Latent Rehearsal
- 00 · Antevisão: um ELLM, um modelo de linguagem que ensaia no latente antes de falar
- 01 · O tokenizador próprio: por que 16 mil tokens servem melhor a este corpus que 50 mil, e o que a tabela inteira mostra
- 02 · Duas arquiteturas, um arquivo: o duelo justo entre 2019 e o que veio depois
- 03 · A geometria do embedding: o treino começa com um espaço perfeito e o estraga
- 04 · A linhagem do colapso: cinco respostas da visão computacional, cada uma medida em texto
- 05 · O leme e o modelo de mundo: três versões da mesma pergunta, medidas contra a anterior
- 06 · Método e erros: as regras de uma comparação legítima e o catálogo dos nossos enganos
- 07 · Escala e orçamento: quanto custa chegar ao GPT-3, e por que a VRAM quase nunca é o limite
- 08 · A bancada: servir, radiografar e treinar pelo navegador
- 09 · A arquitetura hierárquica: o projeto inteiro alinhado aos quatro padrões do modelo de mundo
- 10 · O que a JEPA é, segundo LeCun: duas falas lidas conceito por conceito, e onde cada um se aplica
- 11 · Memória e horizonte: duas afirmações de LeCun que viraram experimento, e as duas valem para texto
- 12 · Custos aprendidos e modos de inferência: as três buscas e as duas fontes de energia, medidas
- 13 · As correções pelas falas de LeCun: falha, trecho, flag, medida
- 14 · Memória consultada: um banco de estados abstratos lido por atenção
- 15 · O que custa e o que entrega: nós, o GPT-1 e o GPT-2 na única régua que vale entre tokenizadores
- 16 · O mínimo estava fora da lista: o dia em que medi a minha própria busca por energia
- 17 · ELLM: o nome certo para um modelo de linguagem que prevê no latente e decide por energia
- 18 · Procurar melhor não conserta a energia: três buscas, o mesmo texto
- 19 · A inversão que não se repetiu: o custo do modelo de mundo aparece quando a régua para de oscilar
- 20 · O que mudou em 17/09: dois capítulos novos e duas correções
Escreve o curso do GPT-2 e conduz o experimento Antevisão, medindo cada rodada antes de publicar o número. Os posts no LinkedIn começam aqui e terminam nas apostilas.
Seguir no LinkedIn →