GPT-1 e GPT-2, desmontados
Sete modelos de 2018 e 2019, abertos linha a linha: como texto vira número, o que a atenção faz, o que a escala compra, e a única linha de código que separa o GPT do BERT. Tudo roda numa máquina comum, sem GPU.
Um curso: cada capítulo ensina uma peça do modelo e prova a peça num laboratório que roda na sua máquina.
Para quem nunca abriu um modelo por dentro, ou usa LLM todo dia e quer saber o que acontece entre a pergunta e a resposta.
O que você sai sabendo: como texto vira número, o que a atenção faz, o que a escala compra, e a única linha de código que separa o GPT do BERT.
Capítulos
Em ordem. Cada capítulo usa o vocabulário do anterior.
- 00Os sete fósseis: por que GPT-1, GPT-2 e RoBERTa são um corte histórico, não uma listaSete arquivos no Hugging Face contam o momento exato em que a IA de linguagem se dividiu em dois.
- GlossárioGlossário do curso: o que token, camada e modelo querem dizer em IA, e no resto da TI"Token" já tinha outros donos antes da IA: o compilador, o login e o blockchain.destaque
- 01Por que o GPT-2 não enxerga letras nem palavras, e o que isso custa em portuguêsO GPT-2 nunca leu uma palavra sua. Nem uma letra. Ele lê pedaços.
- 02Embeddings: de um inteiro sem sentido a um vetor que sabe que rei e rainha são parentesPara o modelo, gato é 4899 e cachorro é 5257. Alimentar isso numa rede neural é um erro conceitual grave.
- 03Atenção: a única operação que substituiu vinte anos de redes recorrentes"O troféu não coube na mala porque ele era muito grande." Quem é 'ele'?
- 04Doze cabeças em vez de uma, e a única linha de código que separa o GPT do RoBERTaA atenção é um orçamento fixo: cada linha soma 1. Se 70% vai para uma palavra, sobram 30% para todo o resto.
- 05Por que o GPT-2 precisa de 48 andares para responder, e o que acontece dentro de cada umQuando você manda uma pergunta ao ChatGPT, ela sobe 96 andares antes de virar resposta. No GPT-2 eram 48. Cada andar faz a mesma coisa. Então por que tantos?
- 06O que a escala realmente compra: de 124 milhões a 1,5 bilhão, medidoO GPT-2 large, com 774 milhões de parâmetros, errou a capital da França. O medium, com 355 milhões, acertou.
- 07Temperature, top-k e top-p: a decisão que muda mais o texto do que trocar de modeloO modelo não escolhe a próxima palavra. Quem escolhe é você.
- 08Perplexidade: o único número que diz o que o modelo aprendeu, sem anedotasO GPT-2 nunca foi ensinado a responder perguntas. Ele foi treinado numa única tarefa, bilhões de vezes.
- 09GPT-1 para GPT-2: mesmo tamanho, metade da perplexidade. Quatro decisões explicamVocê sabe como o GPT-1 virou o GPT-2? E por que isso acontece?destaque
- 10RoBERTa: quando o avanço é treinar melhor o que já existiaQuatro meses depois do GPT-1, o Google pegou o mesmo bloco e tomou a decisão oposta.
- 11Encoder vs decoder: uma linha de código e todas as consequências que descem delaUm sinal de menos-infinito decide se o modelo escreve ou entende. Não existe almoço grátis.destaque
- 12O detector: como um modelo de linguagem vira classificador, e por que esse não deve decidir nadaA OpenAI construiu o caçador com a arquitetura oposta à da caça. E desde 2023 ele é pior que inútil.
- 13Lendo o código original do GPT-2: 174 linhas contra tudo o que você aprendeuO GPT-2 inteiro cabe em 174 linhas de TensorFlow. E você consegue ler cada uma.
- 14Servindo modelos: da chamada de função ao servidor HTTP, e o que a produção faz a maisCarregar o GPT-2 XL custa 7 segundos e 5,8 GB de RAM. Toda vez.
- 15O guia do laboratório: cada comando, cada script, e tudo o que foi medidoO GPT-2 abriu o caminho de todo LLM que você usa hoje. Até onde esse caminho vai?destaque
- 16O teto deste caminho: o argumento de LeCun, lido de dentro do GPT-2Todo o texto que a humanidade escreveu cabe no que uma criança de quatro anos já viu.
A coleção inteira em PDF, no seu e-mail
Os 18 capítulos, em português, inglês ou os dois. Deixe o e-mail e os links chegam num só envio. Você entra na lista e recebe os textos novos quando saírem — para sair, é um clique no fim de qualquer e-mail.