Atenção: a única operação que substituiu vinte anos de redes recorrentes
Query, Key e Value, de onde vêm, o que significam, e a implementação em 8 linhas.
Caiu aqui pelo LinkedIn? Este é o capítulo 03 do curso GPT-1 e GPT-2, desmontados. Dá para ler solto; se quiser o começo, é o capítulo 00.
"O troféu não coube na mala porque ele era muito grande." Quem é 'ele'? Você respondeu na hora: o troféu. Agora troque uma palavra: '...porque ele era muito pequeno'. Agora 'ele' é a mala. A referência do pronome mudou por causa de um adjetivo sete palavras depois. Vinte anos de redes recorrentes não resolviam isso bem. Uma única operação resolveu, e ela é uma consulta a um banco de dados. Só que, medido no GPT-2, tem um detalhe: a atenção de 'ele' é idêntica nas duas frases. Bit a bit. Diferença exatamente 0,00.
Os três pontos
- A analogia central: cada token faz uma consulta (Q) contra as chaves (K) de todos os outros e traz de volta os valores (V). É um banco de dados diferenciável.
- A fórmula tem quatro símbolos e cada um tem um motivo. O mais mal explicado é a divisão pela raiz da dimensão.
- No laboratório, a atenção de 'it' dá idêntica nas duas frases do troféu. Num modelo causal, o passado não pode ser afetado pelo futuro. Um RoBERTa daria diferente.
Da apostila, o começo
Query, Key e Value — de onde vêm, o que significam, e por que essa única operação substituiu vinte anos de redes recorrentes.
Leia esta frase e responda rápido: "O troféu não coube na mala porque ele era muito grande."
Para processar isso, o modelo precisa que a representação de "ele" seja capaz de buscar informação em qualquer outra posição da frase, escolhendo dinamicamente onde olhar. Não numa posição fixa, não na palavra anterior — em qualquer lugar, dependendo do conteúdo.
O que a apostila cobre · 7 seções · 9 min
- O problema que a atenção resolve
- A analogia central: consulta a um banco de dados
- De onde vêm Q, K e V
- A fórmula, símbolo por símbolo
- As dimensões, passo a passo
- Implementação do zero — 8 linhas
- No laboratório
Todos os capítulos do curso · GPT-1 e GPT-2, desmontados
- 00 · Os sete fósseis: por que GPT-1, GPT-2 e RoBERTa são um corte histórico, não uma lista
- Glossário · Glossário do curso: o que token, camada e modelo querem dizer em IA, e no resto da TI
- 01 · Por que o GPT-2 não enxerga letras nem palavras, e o que isso custa em português
- 02 · Embeddings: de um inteiro sem sentido a um vetor que sabe que rei e rainha são parentes
- 03 · Atenção: a única operação que substituiu vinte anos de redes recorrentes
- 04 · Doze cabeças em vez de uma, e a única linha de código que separa o GPT do RoBERTa
- 05 · Por que o GPT-2 precisa de 48 andares para responder, e o que acontece dentro de cada um
- 06 · O que a escala realmente compra: de 124 milhões a 1,5 bilhão, medido
- 07 · Temperature, top-k e top-p: a decisão que muda mais o texto do que trocar de modelo
- 08 · Perplexidade: o único número que diz o que o modelo aprendeu, sem anedotas
- 09 · GPT-1 para GPT-2: mesmo tamanho, metade da perplexidade. Quatro decisões explicam
- 10 · RoBERTa: quando o avanço é treinar melhor o que já existia
- 11 · Encoder vs decoder: uma linha de código e todas as consequências que descem dela
- 12 · O detector: como um modelo de linguagem vira classificador, e por que esse não deve decidir nada
- 13 · Lendo o código original do GPT-2: 174 linhas contra tudo o que você aprendeu
- 14 · Servindo modelos: da chamada de função ao servidor HTTP, e o que a produção faz a mais
- 15 · O guia do laboratório: cada comando, cada script, e tudo o que foi medido
- 16 · O teto deste caminho: o argumento de LeCun, lido de dentro do GPT-2
Escreve o curso do GPT-2 e conduz o experimento Antevisão, medindo cada rodada antes de publicar o número. Os posts no LinkedIn começam aqui e terminam nas apostilas.
Seguir no LinkedIn →