GPT-1 para GPT-2: mesmo tamanho, metade da perplexidade. Quatro decisões explicam
O experimento controlado que a história nos deu, e o que ele ensina sobre onde o ganho vem.
Caiu aqui pelo LinkedIn? Este é o capítulo 09 do curso GPT-1 e GPT-2, desmontados. Dá para ler solto; se quiser o começo, é o capítulo 00.
Você sabe como o GPT-1 virou o GPT-2? E por que isso acontece? O GPT-1 tem 117 milhões de parâmetros. O GPT-2 small tem 124 milhões. Seis por cento de diferença, praticamente nada. E no entanto, medido no mesmo parágrafo, a perplexidade cai de 46 para 21,7. Menos da metade. Não foi tamanho. Foram quatro decisões, e a maior delas não é de arquitetura. É sobre de onde veio o texto, e envolve três votos no Reddit.
Os três pontos
- Mudança 1, a maior: o corpus. De 1 GB de livros de ficção para 40 GB de páginas web filtradas por karma do Reddit.
- Mudança 2: o tokenizador. De BPE sobre caracteres, tudo em minúsculo, para BPE sobre bytes, caixa preservada, sem token desconhecido.
- Mudança 3: Pre-LN, a mudança de engenharia. Mudança 4: o que não mudou, mas mudou de propósito. Foi aqui que a engenharia de prompt nasceu.
Da apostila, o começo
Praticamente o mesmo tamanho, menos da metade da perplexidade. Quatro decisões explicam a diferença.
O openai-gpt (GPT-1, junho de 2018) tem 117 milhões de parâmetros. O gpt2 small (fevereiro de 2019) tem 124 milhões. Seis por cento de diferença — praticamente nada.
Isso é raro e valioso. Muitos avanços em modelos de linguagem vieram junto com aumento de escala, o que dificulta separar o efeito de cada mudança. Aqui a escala está essencialmente controlada, e podemos atribuir o ganho a decisões de projeto específicas. São quatro.
O que a apostila cobre · 7 seções · 7 min
- O experimento controlado que a história nos deu
- Mudança 1 — o corpus (a maior de todas)
- Mudança 2 — o tokenizador
- Mudança 3 — Pre-LN (a mudança de engenharia)
- Mudança 4 — o que não mudou, mas mudou de propósito
- A tabela final
- No laboratório
Todos os capítulos do curso · GPT-1 e GPT-2, desmontados
- 00 · Os sete fósseis: por que GPT-1, GPT-2 e RoBERTa são um corte histórico, não uma lista
- Glossário · Glossário do curso: o que token, camada e modelo querem dizer em IA, e no resto da TI
- 01 · Por que o GPT-2 não enxerga letras nem palavras, e o que isso custa em português
- 02 · Embeddings: de um inteiro sem sentido a um vetor que sabe que rei e rainha são parentes
- 03 · Atenção: a única operação que substituiu vinte anos de redes recorrentes
- 04 · Doze cabeças em vez de uma, e a única linha de código que separa o GPT do RoBERTa
- 05 · Por que o GPT-2 precisa de 48 andares para responder, e o que acontece dentro de cada um
- 06 · O que a escala realmente compra: de 124 milhões a 1,5 bilhão, medido
- 07 · Temperature, top-k e top-p: a decisão que muda mais o texto do que trocar de modelo
- 08 · Perplexidade: o único número que diz o que o modelo aprendeu, sem anedotas
- 09 · GPT-1 para GPT-2: mesmo tamanho, metade da perplexidade. Quatro decisões explicam
- 10 · RoBERTa: quando o avanço é treinar melhor o que já existia
- 11 · Encoder vs decoder: uma linha de código e todas as consequências que descem dela
- 12 · O detector: como um modelo de linguagem vira classificador, e por que esse não deve decidir nada
- 13 · Lendo o código original do GPT-2: 174 linhas contra tudo o que você aprendeu
- 14 · Servindo modelos: da chamada de função ao servidor HTTP, e o que a produção faz a mais
- 15 · O guia do laboratório: cada comando, cada script, e tudo o que foi medido
- 16 · O teto deste caminho: o argumento de LeCun, lido de dentro do GPT-2
Escreve o curso do GPT-2 e conduz o experimento Antevisão, medindo cada rodada antes de publicar o número. Os posts no LinkedIn começam aqui e terminam nas apostilas.
Seguir no LinkedIn →