Embeddings: de um inteiro sem sentido a um vetor que sabe que rei e rainha são parentes

Para o modelo, gato é 4899 e cachorro é 5257. Alimentar isso numa rede neural é um erro conceitual grave. Esses números são etiquetas de armário, não medidas. O armário 5257 não é maior nem mais quente que o 4899. Mas uma rede neural só sabe fazer aritmética: se recebe os dois inteiros, vai calcular diferenças e médias e extrair relações que não existem. A solução foi dar coordenadas às palavras. 768 coordenadas, no caso do GPT-2 small. E é nesse espaço que 'rei' e 'rainha' viram parentes.

Os três pontos

1. A matriz de embedding é uma tabela: linha 4899 é o vetor de gato. Ela é aprendida junto com o resto.
2. Existe um segundo embedding, o de posição, porque a atenção sozinha não sabe a ordem das palavras.
3. Weight tying: a mesma matriz que traduz token em vetor traduz vetor de volta em token. Isso economiza 38 milhões de parâmetros no GPT-2 small.

Da apostila, o começo

De um inteiro sem sentido a um vetor de 768 números que sabe que "rei" e "rainha" são parentes.

Saímos da apostila 01 com uma lista de inteiros. Digamos que gato = 4899 e cachorro = 5257. Esses números são etiquetas de armário, não medidas. O armário 5257 não é "maior" nem "mais quente" que o 4899. Se o vocabulário fosse embaralhado, gato seria 12 e cachorro seria 40 001, e nada mudaria.

Mas uma rede neural só sabe fazer aritmética. Se ela recebe 4899 e 5257, ela vai inevitavelmente calcular diferenças, médias, produtos — e vai extrair relações que não existem. Alimentar IDs crus numa rede é um erro conceitual grave.

O jeito clássico de dizer "esta é a categoria 4899, e as categorias não têm ordem" é o vetor one-hot: um vetor de 50 257 posições, todas zero, exceto um 1 na posição 4899.