Todos os posts

Não é um curso. É um experimento de comprovação e melhoria contínua: cada peça é medida contra um controle, o que falha fica registrado com o mesmo destaque do que funciona, e a rodada seguinte parte do que a anterior mediu. Os capítulos são o diário desse experimento, na ordem em que aconteceu.

1. 00
   Antevisão: um ELLM, um modelo de linguagem que ensaia no latente antes de falarUm LLM escolhe o próximo token e descobre depois onde foi parar. Nós construímos um que imagina antes: um ELLM.destaquefechadoatualizado 12 de set.
2. 01
   O tokenizador próprio: por que 16 mil tokens servem melhor a este corpus que 50 mil, e o que a tabela inteira mostraUm modelo de 7 milhões de parâmetros gastou menos bits que o GPT-2 de 124 milhões em português. Não porque é melhor.fechadoatualizado 12 de set.
3. 02
   Duas arquiteturas, um arquivo: o duelo justo entre 2019 e o que veio depoisUma peça nova é apresentada nas condições de quem a criou. Refizemos a comparação nas nossas: mesmos dados, mesma semente, mesmo orçamento.fechadoatualizado 12 de set.
4. 03
   A geometria do embedding: o treino começa com um espaço perfeito e o estragaTentamos busca semântica com o RoBERTa. Todas as similaridades deram acima de 0,99. Frases sobre assuntos opostos pareciam idênticas.fechadoatualizado 12 de set.
5. 04
   A linhagem do colapso: cinco respostas da visão computacional, cada uma medida em textoUm sistema treinado para prever no latente tem uma solução trivial: ignorar a entrada e devolver sempre o mesmo vetor. Predição perfeita e inútil.fechadoatualizado 12 de set.
6. 05
   O leme e o modelo de mundo: três versões da mesma pergunta, medidas contra a anteriorA pergunta é uma só: o modelo sabe para onde vai antes de ir?destaquefechadoatualizado 12 de set.
7. 06
   Método e erros: as regras de uma comparação legítima e o catálogo dos nossos enganosMetade das melhores decisões deste projeto veio de descobrir que estávamos errados.fechadoatualizado 12 de set.
8. 07
   Escala e orçamento: quanto custa chegar ao GPT-3, e por que a VRAM quase nunca é o limiteChegar à escala do GPT-3 Small custa menos de oito horas de uma única GPU. O que falta não é placa. É texto.fechadoatualizado 12 de set.
9. 08
   A bancada: servir, radiografar e treinar pelo navegadorMedimos onde o tempo de uma requisição vai. 93,3% é a geração serial, token a token.fechadoatualizado 12 de set.
10. 09
    A arquitetura hierárquica: o projeto inteiro alinhado aos quatro padrões do modelo de mundoLeCun tem um slide com quatro linhas: abandone X em favor de Y. Auditamos o nosso código contra cada uma.fechadoatualizado 12 de set.
11. 10
    O que a JEPA é, segundo LeCun: duas falas lidas conceito por conceito, e onde cada um se aplicaO vídeo que inspirou tudo: Yann LeCun explicando o que falta aos LLMs para entender o mundo. Lemos conceito por conceito e aplicamos em texto.fechadoatualizado 12 de set.
12. 11
    Memória e horizonte: duas afirmações de LeCun que viraram experimento, e as duas valem para textoLeCun diz: cada nível de abstração prevê mais longe que o de baixo. Medimos. Vale para texto.fechadoatualizado 12 de set.
13. 12
    Custos aprendidos e modos de inferência: as três buscas e as duas fontes de energia, medidasNa primeira leitura, nenhum modo de inferência governava. A geração livre tinha mais rumo que qualquer planejador.destaquefechadoatualizado 12 de set.
14. 13
    As correções pelas falas de LeCun: falha, trecho, flag, medidaUma fila de 22 rodadas deixou quatro falhas medidas. Levamos cada uma de volta ao texto de LeCun com uma pergunta só.destaquefechadoatualizado 12 de set.
15. 14
    Memória consultada: um banco de estados abstratos lido por atençãoA memória somada persiste, mas dilui: o passado inteiro vale menos que cada metade sozinha.fechadoatualizado 12 de set.
16. 15
    O que custa e o que entrega: nós, o GPT-1 e o GPT-2 na única régua que vale entre tokenizadores"Nosso modelo tem perplexidade 31, o GPT-2 tem 29, então o GPT-2 é melhor." Isso não significa nada.fechadoatualizado 12 de set.
17. 16
    O mínimo estava fora da lista: o dia em que medi a minha própria busca por energiaPassei semanas dizendo que o meu sistema escolhia a próxima palavra "buscando a menor energia". Fui medir. Em 96 testes, ele não achou a menor energia uma única vez.destaquefechadoatualizado 12 de set.
18. 17
    ELLM: o nome certo para um modelo de linguagem que prevê no latente e decide por energiaChamei o meu modelo de LLM por meses. O nome estava errado — e não por causa do tamanho.destaquefechado
19. 18
    Procurar melhor não conserta a energia: três buscas, o mesmo textoConsertei a busca do meu modelo para achar a menor energia de verdade, entre 16.392 opções. O texto não melhorou.recentedestaquefechado
20. 19
    A inversão que não se repetiu: o custo do modelo de mundo aparece quando a régua para de oscilarEscrevi num capítulo que o meu modelo de mundo deixava o gerador 3,38% melhor. Com mais sementes e uma régua consertada, ele custa.recentedestaquefechado
21. 20
    O que mudou em 17/09: dois capítulos novos e duas correçõesNum dia, o experimento ganhou dois capítulos e corrigiu duas afirmações que eu já tinha publicado.recentefechado