Por que o GPT-2 precisa de 48 andares para responder, e o que acontece dentro de cada um

Quando você manda uma pergunta ao ChatGPT, ela sobe 96 andares antes de virar resposta. No GPT-2 eram 48. Cada andar faz a mesma coisa. Então por que tantos? Cada andar tem duas salas. Na primeira, as palavras conversam entre si: é ali que "ele" descobre que se refere ao troféu, e não à mala. Na segunda, o modelo consulta o que sabe do mundo: é onde mora o conhecimento, dois terços de tudo o que ele aprendeu. Só que tem um detalhe que muda tudo. Se você empilhasse só a primeira sala, cem andares valeriam exatamente o mesmo que um. A matemática não deixa passar disso. O que faz 48 andares valerem mais que um são quatro peças pequenas, e uma delas é uma simples soma. Sem essa soma, o modelo nem consegue ser treinado.

Os três pontos

1. Cada camada tem duas salas: a atenção, onde as palavras se olham, e o MLP, onde mora o conhecimento. Dois terços do que o modelo sabe estão na segunda sala, não na primeira.
2. Empilhar só atenção não adianta: cem camadas valem uma. O que muda isso é uma conexão que soma a entrada de volta à saída, e é ela que permite treinar 48 camadas sem o treino desmoronar.
3. O GPT-2 moveu o "regulador de volume" de cada camada, o LayerNorm, para antes da atenção. Parece detalhe. É uma das quatro decisões que dobraram a qualidade em relação ao GPT-1.

Da apostila, o começo

LayerNorm, GELU, MLP e conexão residual — as quatro peças que permitem empilhar 48 camadas sem o treino explodir.

A atenção resolve o transporte de informação: ela move conteúdo de uma posição para outra. Mas repare no que ela é, matematicamente: uma média ponderada de vetores V. Isto é, uma combinação linear.

E aí está o problema. Empilhar operações lineares não adianta nada: a composição de duas transformações lineares é outra transformação linear. Cem camadas de atenção pura teriam exatamente a mesma expressividade de uma camada só. Você não ganharia nada empilhando.

Precisamos de não-linearidade. E precisamos de um lugar onde o modelo possa processar a informação que a atenção trouxe, em vez de só transportá-la. Esse lugar é o MLP.