A geometria do embedding: o treino começa com um espaço perfeito e o estraga
Quatro instrumentos para ver como, um erro de medição que quase passou, e o remédio que custa.
Caiu aqui pelo LinkedIn? Este é o capítulo 03 do experimento Antevisão · Latent Rehearsal. Dá para ler solto; se quiser o começo, é o capítulo 00.
Tentamos busca semântica com o RoBERTa. Todas as similaridades deram acima de 0,99. Frases sobre assuntos opostos pareciam idênticas. Na época diagnosticamos como anisotropia e seguimos. Aqui a pergunta virou outra: isso é defeito do RoBERTa, ou acontece com qualquer modelo? Medimos no nosso. O espaço começa perfeitamente isotrópico e o treino cria o cone. Não é defeito de nenhum modelo específico: é o que acontece quando se treina embedding com softmax e weight tying. RoPE, RMSNorm e SwiGLU não mudam nada. Tem nome na literatura desde 2019, e quatro instrumentos para enxergar, nenhum dos quais basta sozinho.
Os três pontos
- Anisotropia, posto efetivo, decorrelação e sondas: cada instrumento tem uma cegueira. Um só engana.
- O achado: o cone é criado pelo treino com softmax e weight tying. Tem nome: representation degeneration problem (Gao et al., 2019).
- O remédio simples é um regularizador de cosseno. Ele existe porque uma busca semântica falhou, e é a base de todas as rodadas seguintes.
Da apostila, o começo
O treino começa com um espaço perfeito e o estraga. Quatro instrumentos para ver como — e por que nenhum deles sozinho basta.
No curso anterior, tentamos busca semântica com os embeddings do RoBERTa. Falhou de um jeito específico: todas as similaridades deram acima de +0,99. Frases sobre assuntos completamente diferentes pareciam idênticas.
O que a apostila cobre · 5 seções · 7 min
- A descoberta que motivou o projeto
- Quatro instrumentos, quatro cegueiras
- Um erro de medição que quase passou
- O remédio simples, e o que ele custa
- Por que isso importa para o objetivo final
Todos os capítulos do experimento · Antevisão · Latent Rehearsal
- 00 · Antevisão: um ELLM, um modelo de linguagem que ensaia no latente antes de falar
- 01 · O tokenizador próprio: por que 16 mil tokens servem melhor a este corpus que 50 mil, e o que a tabela inteira mostra
- 02 · Duas arquiteturas, um arquivo: o duelo justo entre 2019 e o que veio depois
- 03 · A geometria do embedding: o treino começa com um espaço perfeito e o estraga
- 04 · A linhagem do colapso: cinco respostas da visão computacional, cada uma medida em texto
- 05 · O leme e o modelo de mundo: três versões da mesma pergunta, medidas contra a anterior
- 06 · Método e erros: as regras de uma comparação legítima e o catálogo dos nossos enganos
- 07 · Escala e orçamento: quanto custa chegar ao GPT-3, e por que a VRAM quase nunca é o limite
- 08 · A bancada: servir, radiografar e treinar pelo navegador
- 09 · A arquitetura hierárquica: o projeto inteiro alinhado aos quatro padrões do modelo de mundo
- 10 · O que a JEPA é, segundo LeCun: duas falas lidas conceito por conceito, e onde cada um se aplica
- 11 · Memória e horizonte: duas afirmações de LeCun que viraram experimento, e as duas valem para texto
- 12 · Custos aprendidos e modos de inferência: as três buscas e as duas fontes de energia, medidas
- 13 · As correções pelas falas de LeCun: falha, trecho, flag, medida
- 14 · Memória consultada: um banco de estados abstratos lido por atenção
- 15 · O que custa e o que entrega: nós, o GPT-1 e o GPT-2 na única régua que vale entre tokenizadores
- 16 · O mínimo estava fora da lista: o dia em que medi a minha própria busca por energia
- 17 · ELLM: o nome certo para um modelo de linguagem que prevê no latente e decide por energia
- 18 · Procurar melhor não conserta a energia: três buscas, o mesmo texto
- 19 · A inversão que não se repetiu: o custo do modelo de mundo aparece quando a régua para de oscilar
- 20 · O que mudou em 17/09: dois capítulos novos e duas correções
Escreve o curso do GPT-2 e conduz o experimento Antevisão, medindo cada rodada antes de publicar o número. Os posts no LinkedIn começam aqui e terminam nas apostilas.
Seguir no LinkedIn →