Encoder vs decoder: uma linha de código e todas as consequências que descem dela
A apostila que amarra o curso inteiro, com a prova experimental e a tabela de decisão.
Caiu aqui pelo LinkedIn? Este é o capítulo 11 do curso GPT-1 e GPT-2, desmontados. Dá para ler solto; se quiser o começo, é o capítulo 00.
Um sinal de menos-infinito decide se o modelo escreve ou entende. Não existe almoço grátis. GPT-2 e RoBERTa têm o mesmo bloco, a mesma atenção, o mesmo algoritmo de tokenização, a mesma GELU, o mesmo LayerNorm, e praticamente o mesmo tamanho: 124 milhões contra 125. A diferença inteira é uma linha, e uma árvore de consequências desce dela. O decoder troca compreensão por geração. O encoder troca geração por compreensão. E em 2026, virou senso comum que os decoders venceram. É meia verdade. A outra metade é que chamar um modelo de 70 bilhões para decidir se um e-mail é spam é desperdício por várias ordens de grandeza.
Os três pontos
- A linha: a máscara causal. Com ela, o modelo só olha para trás e pode gerar. Sem ela, olha para os dois lados e não pode.
- A prova experimental: a mesma frase, os dois modelos, e a atenção do pronome muda só num deles.
- Para classificar, buscar, extrair: encoder. Para escrever, conversar: decoder. Para traduzir e resumir: os dois juntos. O encoder não morreu.
Da apostila, o começo
Uma linha de código, e todas as consequências que descem dela. A apostila que amarra o curso inteiro.
É isso. Tudo o mais é igual ou quase igual: o mesmo bloco Transformer, a mesma equação de atenção, o mesmo algoritmo de tokenização (byte-level BPE), a mesma GELU, o mesmo LayerNorm, tamanhos praticamente idênticos (124 M vs 125 M, ambos com 12 camadas, 768 dimensões e 12 cabeças).
O gpt2 e o roberta-base são gêmeos estruturais que fazem coisas opostas. É o experimento controlado perfeito, e é por isso que estudá-los juntos ensina mais do que estudar qualquer um dos dois sozinho.
O que a apostila cobre · 7 seções · 6 min
- A linha
- A prova experimental
- A árvore de consequências
- A tabela de decisão prática
- A terceira família: encoder-decoder
- A linhagem, em uma página
- No laboratório
Todos os capítulos do curso · GPT-1 e GPT-2, desmontados
- 00 · Os sete fósseis: por que GPT-1, GPT-2 e RoBERTa são um corte histórico, não uma lista
- Glossário · Glossário do curso: o que token, camada e modelo querem dizer em IA, e no resto da TI
- 01 · Por que o GPT-2 não enxerga letras nem palavras, e o que isso custa em português
- 02 · Embeddings: de um inteiro sem sentido a um vetor que sabe que rei e rainha são parentes
- 03 · Atenção: a única operação que substituiu vinte anos de redes recorrentes
- 04 · Doze cabeças em vez de uma, e a única linha de código que separa o GPT do RoBERTa
- 05 · Por que o GPT-2 precisa de 48 andares para responder, e o que acontece dentro de cada um
- 06 · O que a escala realmente compra: de 124 milhões a 1,5 bilhão, medido
- 07 · Temperature, top-k e top-p: a decisão que muda mais o texto do que trocar de modelo
- 08 · Perplexidade: o único número que diz o que o modelo aprendeu, sem anedotas
- 09 · GPT-1 para GPT-2: mesmo tamanho, metade da perplexidade. Quatro decisões explicam
- 10 · RoBERTa: quando o avanço é treinar melhor o que já existia
- 11 · Encoder vs decoder: uma linha de código e todas as consequências que descem dela
- 12 · O detector: como um modelo de linguagem vira classificador, e por que esse não deve decidir nada
- 13 · Lendo o código original do GPT-2: 174 linhas contra tudo o que você aprendeu
- 14 · Servindo modelos: da chamada de função ao servidor HTTP, e o que a produção faz a mais
- 15 · O guia do laboratório: cada comando, cada script, e tudo o que foi medido
- 16 · O teto deste caminho: o argumento de LeCun, lido de dentro do GPT-2
Escreve o curso do GPT-2 e conduz o experimento Antevisão, medindo cada rodada antes de publicar o número. Os posts no LinkedIn começam aqui e terminam nas apostilas.
Seguir no LinkedIn →