O que custa e o que entrega: nós, o GPT-1 e o GPT-2 na única régua que vale entre tokenizadores

"Nosso modelo tem perplexidade 31, o GPT-2 tem 29, então o GPT-2 é melhor." Isso não significa nada. Perplexidade é medida por token, e token não é unidade universal: é uma escolha do tokenizador. O nosso tem 16 mil entradas; o do GPT-2, 50 mil. Comparar os dois por perplexidade é comparar réguas diferentes. A conversão existe e é antiga: bits por caractere. Quantos bits o modelo precisa, em média, para prever o próximo caractere de um texto que nunca viu. Com essa régua, colocamos os nossos modelos, o GPT-1 e o GPT-2 na mesma tabela, com o preço de cada treino em dólares. E o resultado esperado foi escrito antes de ver o número: ir melhor em português e código, e o GPT-2 ir melhor em inglês. Se o nosso for melhor em inglês também, a suspeita cai sobre o teste, não sobre o modelo.

Os três pontos

1. A economia de parâmetros está no vocabulário: o nosso maior modelo tem o mesmo corpo do GPT-2 small (12 camadas, 768 dimensões), mas o embedding do GPT-2 é 31% do total, e no nosso mini é 56,6% de um modelo 17 vezes menor.
2. A placa mudou a escala do possível: a rodada de 700 passos que leva 25 minutos na CPU leva 40 segundos numa RTX 5090. Treinar o mini com o orçamento de Chinchilla custa US$ 0,03; o grande, US$ 4,28 e 4,8 horas.
3. A regra foi escrita antes do número: o texto de teste sai do conjunto de validação, o domínio de cada bloco é decidido por código, e um resultado que favorece quem mede merece mais desconfiança, não menos.

Da apostila, o começo

Todas as apostilas anteriores comparam rodadas nossas entre si. Esta compara com fora: GPT‑1, GPT‑2 e os nossos, na única métrica que vale entre tokenizadores diferentes, e com o preço de cada treino em dólares. A pergunta é simples e desconfortável: um modelo com menos parâmetros, treinado por menos de um dólar, entrega o quê?

A tentação é dizer "o nosso modelo tem perplexidade 31 e o GPT‑2 tem 29, então o GPT‑2 é melhor". Isso não significa nada. Perplexidade é medida por token, e token não é uma unidade universal: é uma escolha do tokenizador. O nosso vocabulário tem 16.392 entradas treinadas neste corpus; o do GPT‑2 tem 50.257, treinadas em texto da web em inglês. A palavra "antevisão" pode virar dois pedaços no nosso e seis no do GPT‑2. Perplexidade por token compara duas coisas que estão contando unidades diferentes — é como comparar consumo de combustível em litros por quilômetro com galões por milha, sem converter.

A conversão existe e é antiga: bits por caractere. Some a log-verossimilhança negativa de todos os tokens de um texto, converta de nats para bits, e divida pelo número de caracteres do texto — não de tokens. O resultado responde a uma pergunta física: quantos bits este modelo precisa, em média, para transmitir um caractere deste texto? Um caractere é a mesma coisa para todo mundo. É a métrica da literatura de compressão, e é a única honesta aqui.

Nada de texto escolhido a dedo. O texto de teste sai do próprio conjunto de validação (model/data/validacao.bin), decodificado de volta para caracteres: blocos de 8.192 tokens que o preparo dos dados separou antes do treino e embaralhou. Nenhum modelo nosso os viu. O domínio de cada bloco — português, inglês ou código — é decidido por uma regra de contagem escrita no código (model/cost_vs_gpt2.py), não por julgamento: marcas estruturais de código, marcas do português, e o resto é inglês.