Rafhael Oliveira · IA

Duas arquiteturas, um arquivo: o duelo justo entre 2019 e o que veio depois

RoPE, RMSNorm e SwiGLU ao lado das peças que substituem, com mesmo corpus, mesma verba e mesma semente.

1 min de leitura· apostila: 6 min· Experimento em andamento · capítulo atualizado em 12 de set. de 2026

Caiu aqui pelo LinkedIn? Este é o capítulo 02 do experimento Antevisão · Latent Rehearsal. Dá para ler solto; se quiser o começo, é o capítulo 00.

Uma peça nova é apresentada nas condições de quem a criou. Refizemos a comparação nas nossas: mesmos dados, mesma semente, mesmo orçamento. Não é desonestidade. É que a comparação justa é difícil e sai cara. As armadilhas são três: implementações diferentes, contagem de parâmetros diferente, orçamento diferente. Escrevemos RoPE, RMSNorm e SwiGLU no mesmo arquivo que as peças de 2019 que elas substituem, com o mesmo laço de treino, o mesmo corpus congelado, os mesmos 700 passos e a mesma semente. 17,1 milhões de parâmetros contra 16,9. Perplexidade: 254 contra 193.

Os três pontos

  1. As quatro trocas: posição rotacional em vez de tabela, normalização só com ganho, MLP com três matrizes, lineares sem viés. A tabela de posição some: 393 mil parâmetros a menos.
  2. O duelo: validação 5,539 contra 5,262; perplexidade 254 contra 193; bits por caractere 2,342 contra 2,283 na média.
  3. O que não prova: uma semente, um tamanho, 0,09 época. As quatro peças mudaram juntas; isolar cada uma são quatro rodadas que estão na lista, não no resultado.

Da apostila, o começo

RoPE, RMSNorm e SwiGLU escritas ao lado das peças de 2019 que elas substituem — e o duelo com mesmo corpus, mesma verba e mesma semente.

Uma peça nova é apresentada nas condições em que foi desenvolvida: outra escala, outros dados, outro orçamento. Um ganho medido lá não se transfere automaticamente para cá. Por isso este capítulo refaz a comparação nas nossas condições — mesmos dados, mesma semente, mesmo número de passos —, sabendo que a comparação justa é trabalhosa e sai cara.

Continuar lendo a apostila 02 →Read in EnglishOs PDFs por e-mail →
O que a apostila cobre · 5 seções · 6 min
  1. O problema de comparar arquiteturas
  2. As quatro trocas
  3. O duelo
  4. O preço de cada peça, em parâmetros
  5. Como ler o código
Todos os capítulos do experimento · Antevisão · Latent Rehearsal
  1. 00 · Antevisão: um ELLM, um modelo de linguagem que ensaia no latente antes de falar
  2. 01 · O tokenizador próprio: por que 16 mil tokens servem melhor a este corpus que 50 mil, e o que a tabela inteira mostra
  3. 02 · Duas arquiteturas, um arquivo: o duelo justo entre 2019 e o que veio depois
  4. 03 · A geometria do embedding: o treino começa com um espaço perfeito e o estraga
  5. 04 · A linhagem do colapso: cinco respostas da visão computacional, cada uma medida em texto
  6. 05 · O leme e o modelo de mundo: três versões da mesma pergunta, medidas contra a anterior
  7. 06 · Método e erros: as regras de uma comparação legítima e o catálogo dos nossos enganos
  8. 07 · Escala e orçamento: quanto custa chegar ao GPT-3, e por que a VRAM quase nunca é o limite
  9. 08 · A bancada: servir, radiografar e treinar pelo navegador
  10. 09 · A arquitetura hierárquica: o projeto inteiro alinhado aos quatro padrões do modelo de mundo
  11. 10 · O que a JEPA é, segundo LeCun: duas falas lidas conceito por conceito, e onde cada um se aplica
  12. 11 · Memória e horizonte: duas afirmações de LeCun que viraram experimento, e as duas valem para texto
  13. 12 · Custos aprendidos e modos de inferência: as três buscas e as duas fontes de energia, medidas
  14. 13 · As correções pelas falas de LeCun: falha, trecho, flag, medida
  15. 14 · Memória consultada: um banco de estados abstratos lido por atenção
  16. 15 · O que custa e o que entrega: nós, o GPT-1 e o GPT-2 na única régua que vale entre tokenizadores
  17. 16 · O mínimo estava fora da lista: o dia em que medi a minha própria busca por energia
  18. 17 · ELLM: o nome certo para um modelo de linguagem que prevê no latente e decide por energia
  19. 18 · Procurar melhor não conserta a energia: três buscas, o mesmo texto
  20. 19 · A inversão que não se repetiu: o custo do modelo de mundo aparece quando a régua para de oscilar
  21. 20 · O que mudou em 17/09: dois capítulos novos e duas correções

Antes disto: o curso do GPT-2

Rafhael Oliveira
Rafhael Oliveira

Escreve o curso do GPT-2 e conduz o experimento Antevisão, medindo cada rodada antes de publicar o número. Os posts no LinkedIn começam aqui e terminam nas apostilas.

Seguir no LinkedIn →