Rafhael Oliveira · IA

Por que o GPT-2 não enxerga letras nem palavras, e o que isso custa em português

Como um texto vira uma lista de números, e por que o algoritmo BPE se tornou o padrão.

1 min de leitura· apostila: 12 min

Caiu aqui pelo LinkedIn? Este é o capítulo 01 do curso GPT-1 e GPT-2, desmontados. Dá para ler solto; se quiser o começo, é o capítulo 00.

O GPT-2 nunca leu uma palavra sua. Nem uma letra. Ele lê pedaços. Uma rede neural é uma máquina de multiplicar matrizes. Antes de qualquer inteligência, o seu texto precisa virar números. Essa tradução não é aprendida: é uma tabela fixa, decidida uma vez e congelada para sempre. Três gerações de pesquisadores tentaram responder 'números por quê?'. As duas primeiras falharam de jeitos específicos. A terceira ganhou por um motivo que explica por que o GPT-2 escreve 'tion' com facilidade e sofre com 'ção'.

Os três pontos

  1. Caractere a caractere é longo demais; palavra a palavra não sabe o que fazer com palavra nova. BPE fica no meio e aprende os pedaços que aparecem muito.
  2. A jogada do GPT-2 foi BPE sobre bytes: nunca existe token desconhecido, porque tudo é byte.
  3. GPT-1, GPT-2 e RoBERTa têm três tokenizadores diferentes, e isso muda até o que 'perplexidade' significa entre eles.

Da apostila, o começo

Como um texto vira uma lista de números — e por que o modelo não enxerga letras nem palavras, mas pedaços.

Uma rede neural é, no fundo, uma máquina de multiplicar matrizes. Matrizes são feitas de números. Logo, a primeira coisa que precisa acontecer com o seu texto é uma tradução: letras viram números. Essa etapa se chama tokenização, e ela acontece antes do modelo — não é aprendida junto com ele, é uma tabela fixa, decidida uma vez e congelada para sempre.

A palavra token é mais antiga que os modelos de linguagem, e tem outros sentidos na TI: a credencial que um servidor emite depois do login, como um JWT; a unidade que o analisador léxico de um compilador separa, como uma palavra-chave; o ativo registrado num contrato de blockchain. Neste curso, token é sempre um pedaço de texto — uma palavra, parte de palavra ou byte — com um número inteiro associado. O glossário do curso faz essa distinção para todos os termos que têm mais de um sentido.

A pergunta é: números por quê? Existem três respostas históricas, e entender por que as duas primeiras falharam é a única forma de entender por que a terceira ganhou.

Continuar lendo a apostila 01 →Read in EnglishOs PDFs por e-mail →
O que a apostila cobre · 7 seções · 12 min
  1. Intuição: o modelo não lê o que você escreve
  2. Como o BPE constrói o vocabulário
  3. A jogada do GPT-2: BPE em nível de byte
  4. A matemática (é pouca, mas é a que importa)
  5. GPT-2 vs RoBERTa vs GPT-1: três tokenizadores diferentes
  6. O código, linha a linha
  7. No laboratório
Todos os capítulos do curso · GPT-1 e GPT-2, desmontados
  1. 00 · Os sete fósseis: por que GPT-1, GPT-2 e RoBERTa são um corte histórico, não uma lista
  2. Glossário · Glossário do curso: o que token, camada e modelo querem dizer em IA, e no resto da TI
  3. 01 · Por que o GPT-2 não enxerga letras nem palavras, e o que isso custa em português
  4. 02 · Embeddings: de um inteiro sem sentido a um vetor que sabe que rei e rainha são parentes
  5. 03 · Atenção: a única operação que substituiu vinte anos de redes recorrentes
  6. 04 · Doze cabeças em vez de uma, e a única linha de código que separa o GPT do RoBERTa
  7. 05 · Por que o GPT-2 precisa de 48 andares para responder, e o que acontece dentro de cada um
  8. 06 · O que a escala realmente compra: de 124 milhões a 1,5 bilhão, medido
  9. 07 · Temperature, top-k e top-p: a decisão que muda mais o texto do que trocar de modelo
  10. 08 · Perplexidade: o único número que diz o que o modelo aprendeu, sem anedotas
  11. 09 · GPT-1 para GPT-2: mesmo tamanho, metade da perplexidade. Quatro decisões explicam
  12. 10 · RoBERTa: quando o avanço é treinar melhor o que já existia
  13. 11 · Encoder vs decoder: uma linha de código e todas as consequências que descem dela
  14. 12 · O detector: como um modelo de linguagem vira classificador, e por que esse não deve decidir nada
  15. 13 · Lendo o código original do GPT-2: 174 linhas contra tudo o que você aprendeu
  16. 14 · Servindo modelos: da chamada de função ao servidor HTTP, e o que a produção faz a mais
  17. 15 · O guia do laboratório: cada comando, cada script, e tudo o que foi medido
  18. 16 · O teto deste caminho: o argumento de LeCun, lido de dentro do GPT-2

Depois disto: o experimento Antevisão

Rafhael Oliveira
Rafhael Oliveira

Escreve o curso do GPT-2 e conduz o experimento Antevisão, medindo cada rodada antes de publicar o número. Os posts no LinkedIn começam aqui e terminam nas apostilas.

Seguir no LinkedIn →