Atenção:
o coração do Transformer

1 O problema que a atenção resolve

Leia esta frase e responda rápido: "O troféu não coube na mala porque ele era muito grande."

"Ele" é o troféu. Você sabe disso instantaneamente. Agora troque uma palavra: "…porque ele era muito pequeno." Agora "ele" é a mala. A referência do pronome mudou por causa de um adjetivo que está sete palavras depois.

Para processar isso, o modelo precisa que a representação de "ele" seja capaz de buscar informação em qualquer outra posição da frase, escolhendo dinamicamente onde olhar. Não numa posição fixa, não na palavra anterior — em qualquer lugar, dependendo do conteúdo.

Por que a solução antiga (RNN) não bastava

Até 2017, isso era feito com redes recorrentes: leia palavra por palavra, carregando um "estado de memória" que se atualiza a cada passo. Duas fraquezas fatais:

• O gargalo da memória. Toda a frase precisa ser espremida num único vetor de estado. Informação distante se dilui e some.
• É sequencial por natureza. Para calcular a palavra 100, você precisa ter calculado a 99. Não dá para paralelizar. Numa GPU com milhares de núcleos, isso é um desperdício criminoso — e foi o que limitou a escala dos modelos por uma década.

A atenção resolve os dois de uma vez: cada posição olha diretamente para todas as outras, e todas as posições são calculadas ao mesmo tempo.

2 A analogia central: consulta a um banco de dados

Esqueça matriz por um minuto. Pense num sistema de busca. Ele tem três papéis:

Um banco de dados comum faz busca dura: a query casa com exatamente uma key, e devolve aquele value. A atenção faz busca suave: a query é comparada com todas as keys, cada uma recebe uma nota de compatibilidade, as notas viram porcentagens que somam 100%, e o resultado é uma média ponderada de todos os values.

3 De onde vêm Q, K e V

Este é o ponto que mais gera confusão, então vamos com calma. Q, K e V não são coisas separadas que existem no texto. Eles são três projeções diferentes do mesmo vetor de entrada.

Cada token chega com seu vetor h de 768 dimensões (o que construímos na apostila 02). Aí o modelo o multiplica por três matrizes aprendidas, distintas:

Por que três? Porque os papéis são assimétricos. O que um token quer procurar não é a mesma coisa que ele quer anunciar sobre si, e nenhuma das duas é a informação que ele quer entregar quando for escolhido.

• W_Q aprende: "dada minha situação, o que me falta saber?"
• W_K aprende: "como eu me anuncio para quem estiver procurando?"
• W_V aprende: "o que eu efetivamente contribuo quando sou escolhido?"

Se usássemos o mesmo vetor para query e key, a atenção seria forçadamente simétrica — se A olha muito para B, B teria que olhar muito para A. Mas linguagem não é assim: um pronome procura seu antecedente com urgência, e o substantivo não tem nenhum interesse recíproco no pronome.

4 A fórmula, símbolo por símbolo

Esta é a equação do Transformer. Vou escrevê-la e depois desmontar peça por peça.

Peça 1 — QK^⊤: as notas de compatibilidade

Multiplicar Q (n×64) por K^⊤ (64×n) produz uma matriz n×n. A posição (i,j) dessa matriz é o produto interno entre a query do token i e a key do token j:

É aqui que nasce o custo quadrático. Essa matriz tem n² entradas. Dobrar o comprimento do texto quadruplica o trabalho. Com n=1024 são mais de um milhão de produtos internos — por cabeça, por camada.

Peça 2 — dividir por √d_k: a razão por trás do divisor

Por que dividir pela raiz da dimensão? Não é estética — é uma necessidade estatística.

Suponha que q e k tenham componentes aproximadamente independentes, com média 0 e variância 1. O produto interno soma d_k desses produtos. Pela soma de variâncias de variáveis independentes:

E por que isso importa tanto? Porque a próxima etapa é o softmax, que envolve e^s. Com scores na escala de ±8, um score de 8 contra um de 0 dá uma razão de e⁸ ≈ 2981 para 1. O softmax satura: vira quase um one-hot, todo o peso num token só.

Softmax saturado tem gradiente praticamente nulo. O modelo para de aprender. A divisão por √d_k existe para manter o softmax na sua faixa útil, onde o gradiente flui. Sem ela, o Transformer simplesmente não treina.

Peça 3 — softmax: notas viram porcentagens

A matriz A resultante, n×n, é o mapa de atenção — o objeto que você vai visualizar no laboratório. Cada linha é uma distribuição de probabilidade: onde aquele token está olhando.

Peça 4 — multiplicar por V: a mistura

5 As dimensões, passo a passo

Uma cabeca de atencao do GPT-2 small, frase de 5 tokens:

h        (5, 768)     entrada (apostila 02)
  |
  |-- x W_Q (768,64) --> Q  (5, 64)
  |-- x W_K (768,64) --> K  (5, 64)
  |-- x W_V (768,64) --> V  (5, 64)

Q @ K.T           -> (5, 5)    scores brutos
  / sqrt(64)      -> (5, 5)    escalados
  softmax(dim=-1) -> (5, 5)    <-- O MAPA DE ATENCAO (linhas somam 1)
  @ V             -> (5, 64)   saida da cabeca

Note: d_k = 64 = 768 / 12 cabecas.  Cada cabeca trabalha num
subespaco estreito. Na apostila 04 as 12 se juntam de volta em 768.

6 Implementação do zero — 8 linhas

import torch, math
import torch.nn.functional as F

def atencao(Q, K, V):
    """Q,K,V: (n, d_k). Devolve (n, d_k) e o mapa (n, n)."""
    d_k = Q.shape[-1]

    # 1) toda query contra toda key -> (n, n)
    scores = Q @ K.transpose(-2, -1)

    # 2) estabiliza a escala para o softmax não saturar
    scores = scores / math.sqrt(d_k)

    # 3) cada linha vira uma distribuição que soma 1
    A = F.softmax(scores, dim=-1)

    # 4) média ponderada dos values
    return A @ V, A

São essas quatro linhas. Tudo que o GPT-2, o RoBERTa, o GPT-4 e o Claude fazem de mais impressionante é essa operação, repetida com muitas cabeças, muitas camadas e muitos dados. A ideia central cabe em quatro linhas.

7 No laboratório

.venv\Scripts\python.exe lab\03_attention.py

1. Roda a implementação acima com vetores pequenos e mostra a matriz A em números, para você confirmar que cada linha soma 1,000.
2. Demonstra a saturação: calcula a mesma atenção com e sem a divisão por √d_k, e imprime a entropia das distribuições. Você vai ver o softmax colapsar.
3. Extrai a atenção real do GPT-2 (com output_attentions=True) para a frase do troféu, e desenha o mapa em ASCII com intensidade.
4. Compara as duas versões da frase — e aqui você vai receber dois resultados, um deles desconfortável. Leia a caixa abaixo antes de rodar.

Uma cabeça de atenção só sabe procurar um tipo de relação por vez. E, do jeito que está, ela deixa cada token ver o futuro.
A apostila 04 resolve os dois problemas: multi-head e a máscara causal.