Escala e orçamento: quanto custa chegar ao GPT-3, e por que a VRAM quase nunca é o limite

Chegar à escala do GPT-3 Small custa menos de oito horas de uma única GPU. O que falta não é placa. É texto. Primeiro, desfazer um mal-entendido: os pesos do GPT-3 nunca foram publicados. Não existe 'baixar o GPT-3'. E arquiteturalmente ele é um GPT-2 maior. O que separa os dois é escala, não invenção. Existe uma lei que organiza tudo, uma fórmula que diz qual tamanho treinar com o dinheiro que você tem, e uma conclusão que muda a prioridade do projeto: a VRAM quase nunca é o limite.

Os três pontos

1. GPT-3 é GPT-2 em escala: mesmos blocos, mesma atenção causal, atenção esparsa alternada. A invenção foi de 2019; 2020 foi dinheiro.
2. A lei de escala diz que modelo e dados crescem juntos. Treinar um modelo grande em pouco texto é desperdício.
3. A conclusão que orienta o projeto: a prioridade é corpus. Cada token economizado no tokenizador é orçamento de treino devolvido.

Da apostila, o começo

Quanto custa chegar à escala do GPT-3, por que a VRAM quase nunca é o limite, e a fórmula que diz qual tamanho treinar com o dinheiro que você tem.

Os pesos do GPT-3 nunca foram publicados. O repositório openai/gpt-3 tem amostras de texto e estatísticas do corpus — nenhum peso. Não existe "baixar o GPT-3".

E arquiteturalmente ele é, em essência, um GPT-2 maior: mesmos blocos, mesma atenção causal, com camadas de atenção esparsa alternadas. O que separa os dois é escala, não invenção.

Então "chegar ao GPT-3" significa subir degraus de tamanho. E o paper define oito, não um — o 175 B é o último, não o único.