Rafhael Oliveira · IA

O teto deste caminho: o argumento de LeCun, lido de dentro do GPT-2

O truque do dicionário finito, a conta dos 10^14 bytes e onde a previsão acontece. O fecho do curso, e a ponte para o experimento.

1 min de leitura· apostila: 10 min

Caiu aqui pelo LinkedIn? Este é o capítulo 16 do curso GPT-1 e GPT-2, desmontados. Dá para ler solto; se quiser o começo, é o capítulo 00.

Todo o texto que a humanidade escreveu cabe no que uma criança de quatro anos já viu. São os dois em torno de 10^14 bytes: quatro anos de uma criança pequena, por visão e tato, e vinte a trinta trilhões de tokens a três bytes cada. A conta é de Yann LeCun, e é o argumento mais forte sobre o limite do caminho que o GPT-2 inaugurou. Quinze capítulos desmontaram esse modelo até a última linha. Este responde a pergunta que eles deixaram aberta: até onde vai o caminho dos LLMs. Não é falta de dado nem de parâmetro. É a forma do problema.

Os três pontos

  1. O softmax sobre o vocabulário só existe porque o dicionário é finito: o truque central do GPT-2 não se aplica ao mundo contínuo.
  2. Perplexidade é honesta sobre previsão e cega sobre planejamento — a régua do curso inteiro não enxerga o que falta.
  3. Prever símbolo e prever representação é a mesma escolha da máscara causal, em outra escala: onde a previsão acontece.

Da apostila, o começo

Onde, segundo Yann LeCun, está o limite do caminho que o GPT-2 abriu — e por que esse limite é uma pergunta de pesquisa, não um veredito contra o modelo. O argumento inteiro, lido de dentro do modelo que você acabou de desmontar.

O capítulo 15 termina com uma pergunta e não a responde: até onde vai o caminho que o GPT-2 abriu? Quinze apostilas desmontaram esse modelo até a última linha, numa máquina comum, sem GPU. Você viu texto virar número, viu a atenção substituir vinte anos de redes recorrentes, viu o que a escala compra e o que ela não compra, e mediu perplexidade em vez de contar anedota.

Agora vem a parte que olha para a frente. Tudo isso funciona — e foi a base de quase tudo o que veio depois. Mesmo assim, há um argumento sério de que esse caminho, sozinho, tem um teto. O argumento é de Yann LeCun, e ele não é sobre engenharia: não é "falta dado", "falta parâmetro" ou "falta contexto". É sobre a forma do problema que o modelo resolve.

Esta apostila é a leitura desse argumento, peça por peça, sempre apontando para a peça correspondente que você já abriu no curso. As ideias são de LeCun e são citadas como dele. A leitura em termos do GPT-2 é a nossa parte.

Continuar lendo a apostila 16 →Read in EnglishOs PDFs por e-mail →
O que a apostila cobre · 9 seções · 10 min
  1. A pergunta que o curso deixou aberta
  2. O truque só funciona porque o dicionário é finito
  3. A conta que iguala uma criança de quatro anos a todo o texto
  4. O paradoxo de Moravec, de novo
  5. Onde a previsão acontece
  6. Não é uma função, é uma relação
  7. Planejar não é gerar mais rápido
  8. O que isso muda no que você mediu
  9. O que já foi testado, e o que falhou
Todos os capítulos do curso · GPT-1 e GPT-2, desmontados
  1. 00 · Os sete fósseis: por que GPT-1, GPT-2 e RoBERTa são um corte histórico, não uma lista
  2. Glossário · Glossário do curso: o que token, camada e modelo querem dizer em IA, e no resto da TI
  3. 01 · Por que o GPT-2 não enxerga letras nem palavras, e o que isso custa em português
  4. 02 · Embeddings: de um inteiro sem sentido a um vetor que sabe que rei e rainha são parentes
  5. 03 · Atenção: a única operação que substituiu vinte anos de redes recorrentes
  6. 04 · Doze cabeças em vez de uma, e a única linha de código que separa o GPT do RoBERTa
  7. 05 · Por que o GPT-2 precisa de 48 andares para responder, e o que acontece dentro de cada um
  8. 06 · O que a escala realmente compra: de 124 milhões a 1,5 bilhão, medido
  9. 07 · Temperature, top-k e top-p: a decisão que muda mais o texto do que trocar de modelo
  10. 08 · Perplexidade: o único número que diz o que o modelo aprendeu, sem anedotas
  11. 09 · GPT-1 para GPT-2: mesmo tamanho, metade da perplexidade. Quatro decisões explicam
  12. 10 · RoBERTa: quando o avanço é treinar melhor o que já existia
  13. 11 · Encoder vs decoder: uma linha de código e todas as consequências que descem dela
  14. 12 · O detector: como um modelo de linguagem vira classificador, e por que esse não deve decidir nada
  15. 13 · Lendo o código original do GPT-2: 174 linhas contra tudo o que você aprendeu
  16. 14 · Servindo modelos: da chamada de função ao servidor HTTP, e o que a produção faz a mais
  17. 15 · O guia do laboratório: cada comando, cada script, e tudo o que foi medido
  18. 16 · O teto deste caminho: o argumento de LeCun, lido de dentro do GPT-2

Depois disto: o experimento Antevisão

Rafhael Oliveira
Rafhael Oliveira

Escreve o curso do GPT-2 e conduz o experimento Antevisão, medindo cada rodada antes de publicar o número. Os posts no LinkedIn começam aqui e terminam nas apostilas.

Seguir no LinkedIn →