Os sete fósseis: por que GPT-1, GPT-2 e RoBERTa são um corte histórico, não uma lista
O que você vai aprender, em que ordem, e por que nessa ordem.
Sete arquivos no Hugging Face contam o momento exato em que a IA de linguagem se dividiu em dois. Entre 2018 e 2019, a área inteira se partiu em dois galhos. De um lado, o galho que gera texto uma palavra por vez, olhando só para trás: GPT-1, GPT-2 small, medium, large, XL. É a linhagem que levaria ao ChatGPT. Do outro, o galho que lê a frase inteira e não gera nada: BERT, RoBERTa. Os sete modelos da OpenAI no Hugging Face não são uma lista. São os fósseis desse momento. E a diferença entre os dois galhos cabe em uma linha de código.
Os três pontos
- Os sete modelos são dois galhos: decoder (gera) e encoder (entende). Tudo o que veio depois desce de um deles.
- A trilha vai do texto virando número até o modelo virando servidor, e cada capítulo tem um laboratório que roda na sua máquina.
- Nenhum número do curso é citado de paper. Todos foram medidos numa máquina comum, e o guia diz como repetir.
Da apostila, o começo
O que você vai aprender, em que ordem, por quê nessa ordem — e onde cada peça mora na sua máquina.
Este curso desmonta o GPT-2 e o RoBERTa — os sete modelos que a organização openai-community publicou no Hugging Face. Eles não são uma lista aleatória: são um corte histórico. Entre 2018 e 2019, a área inteira de processamento de linguagem se dividiu em dois galhos, e esses sete arquivos são exatamente o registro desse momento.
De um lado, o galho decoder: GPT-1 → GPT-2 small → medium → large → XL. É a linhagem que gera texto, uma palavra de cada vez, olhando só para trás. Ela levaria ao GPT-3, ao ChatGPT e a tudo que veio depois.
Do outro lado, o galho encoder: BERT → RoBERTa. É a linhagem que compreende texto, olhando o enunciado inteiro de uma vez, para frente e para trás. Ela continua muito usada em classificação, busca e extração de informação.
O que a apostila cobre · 6 seções · 8 min
- Por que este curso existe
- Os sete modelos, em números
- A trilha, capítulo por capítulo
- Onde tudo mora na sua máquina
- O que existe além do que usamos
- Como estudar isto
Todos os capítulos do curso · GPT-1 e GPT-2, desmontados
- 00 · Os sete fósseis: por que GPT-1, GPT-2 e RoBERTa são um corte histórico, não uma lista
- Glossário · Glossário do curso: o que token, camada e modelo querem dizer em IA, e no resto da TI
- 01 · Por que o GPT-2 não enxerga letras nem palavras, e o que isso custa em português
- 02 · Embeddings: de um inteiro sem sentido a um vetor que sabe que rei e rainha são parentes
- 03 · Atenção: a única operação que substituiu vinte anos de redes recorrentes
- 04 · Doze cabeças em vez de uma, e a única linha de código que separa o GPT do RoBERTa
- 05 · Por que o GPT-2 precisa de 48 andares para responder, e o que acontece dentro de cada um
- 06 · O que a escala realmente compra: de 124 milhões a 1,5 bilhão, medido
- 07 · Temperature, top-k e top-p: a decisão que muda mais o texto do que trocar de modelo
- 08 · Perplexidade: o único número que diz o que o modelo aprendeu, sem anedotas
- 09 · GPT-1 para GPT-2: mesmo tamanho, metade da perplexidade. Quatro decisões explicam
- 10 · RoBERTa: quando o avanço é treinar melhor o que já existia
- 11 · Encoder vs decoder: uma linha de código e todas as consequências que descem dela
- 12 · O detector: como um modelo de linguagem vira classificador, e por que esse não deve decidir nada
- 13 · Lendo o código original do GPT-2: 174 linhas contra tudo o que você aprendeu
- 14 · Servindo modelos: da chamada de função ao servidor HTTP, e o que a produção faz a mais
- 15 · O guia do laboratório: cada comando, cada script, e tudo o que foi medido
- 16 · O teto deste caminho: o argumento de LeCun, lido de dentro do GPT-2
Escreve o curso do GPT-2 e conduz o experimento Antevisão, medindo cada rodada antes de publicar o número. Os posts no LinkedIn começam aqui e terminam nas apostilas.
Seguir no LinkedIn →