O que a escala realmente compra: de 124 milhões a 1,5 bilhão, medido
A montagem completa do GPT-2 e uma medição honesta do que muda quando o modelo cresce.
Caiu aqui pelo LinkedIn? Este é o capítulo 06 do curso GPT-1 e GPT-2, desmontados. Dá para ler solto; se quiser o começo, é o capítulo 00.
O GPT-2 large, com 774 milhões de parâmetros, errou a capital da França. O medium, com 355 milhões, acertou. Isso contraria a intuição de que mais parâmetros é sempre melhor, e é um resultado real, reproduzível numa máquina comum. Duas coisas estão acontecendo, e nenhuma delas é 'o modelo é burro'. Uma é sobre como se escolhe a próxima palavra. A outra é sobre o que uma única amostra consegue medir. Quando você dá três exemplos no prompt, o small acerta 12 vezes mais. Foi aqui que a engenharia de prompt nasceu.
Os três pontos
- A família inteira usa o mesmo bloco. O que muda é quantos e de que tamanho: 12 a 48 camadas, 768 a 1600 dimensões.
- A escala não é monotônica numa amostra só. O greedy pega o mais provável e nunca volta atrás; um empate no primeiro token decide tudo.
- Três exemplos no prompt multiplicam a probabilidade da resposta certa por 12 no small e por 10 no XL. Few-shot funciona, mas o GPT-2 é pequeno demais para ser confiável.
Da apostila, o começo
A montagem completa das peças — e uma medição honesta do que muda de 124 milhões para 1,5 bilhão de parâmetros.
Para uma entrada de 5 tokens, o GPT-2 devolve 5 previsões, uma por posição: "o que vem depois de The", "o que vem depois de The capital", e assim por diante. Todas as 5 são calculadas, sempre.
No treino, todas as 5 são usadas — é isso que torna o pré-treino tão eficiente (apostila 08). Na geração, 4 são jogadas fora e só a última interessa. Esse "desperdício" é exatamente o que o cache KV recupera.
O que a apostila cobre · 5 seções · 8 min
- O modelo inteiro, de cima a baixo
- A família inteira em uma tabela
- O que a escala realmente compra
- O custo de rodar, medido
- No laboratório
Todos os capítulos do curso · GPT-1 e GPT-2, desmontados
- 00 · Os sete fósseis: por que GPT-1, GPT-2 e RoBERTa são um corte histórico, não uma lista
- Glossário · Glossário do curso: o que token, camada e modelo querem dizer em IA, e no resto da TI
- 01 · Por que o GPT-2 não enxerga letras nem palavras, e o que isso custa em português
- 02 · Embeddings: de um inteiro sem sentido a um vetor que sabe que rei e rainha são parentes
- 03 · Atenção: a única operação que substituiu vinte anos de redes recorrentes
- 04 · Doze cabeças em vez de uma, e a única linha de código que separa o GPT do RoBERTa
- 05 · Por que o GPT-2 precisa de 48 andares para responder, e o que acontece dentro de cada um
- 06 · O que a escala realmente compra: de 124 milhões a 1,5 bilhão, medido
- 07 · Temperature, top-k e top-p: a decisão que muda mais o texto do que trocar de modelo
- 08 · Perplexidade: o único número que diz o que o modelo aprendeu, sem anedotas
- 09 · GPT-1 para GPT-2: mesmo tamanho, metade da perplexidade. Quatro decisões explicam
- 10 · RoBERTa: quando o avanço é treinar melhor o que já existia
- 11 · Encoder vs decoder: uma linha de código e todas as consequências que descem dela
- 12 · O detector: como um modelo de linguagem vira classificador, e por que esse não deve decidir nada
- 13 · Lendo o código original do GPT-2: 174 linhas contra tudo o que você aprendeu
- 14 · Servindo modelos: da chamada de função ao servidor HTTP, e o que a produção faz a mais
- 15 · O guia do laboratório: cada comando, cada script, e tudo o que foi medido
- 16 · O teto deste caminho: o argumento de LeCun, lido de dentro do GPT-2
Escreve o curso do GPT-2 e conduz o experimento Antevisão, medindo cada rodada antes de publicar o número. Os posts no LinkedIn começam aqui e terminam nas apostilas.
Seguir no LinkedIn →