O tokenizador próprio: por que 16 mil tokens servem melhor a este corpus que 50 mil, e o que a tabela inteira mostra

Um modelo de 7 milhões de parâmetros gastou menos bits que o GPT-2 de 124 milhões em português. Não porque é melhor. O BPE do GPT-2 foi treinado em 40 GB de inglês. Em inglês, 'tion' aparece muito e virou token. 'ção' não. Um texto em português custa 1,6 vezes mais tokens, e cada token custa contexto, atenção quadrática e um passo serial de geração. Treinamos um tokenizador de 16 mil tokens no nosso corpus. Português corrente caiu 47,6%. Português com acentos caiu 73,3%. E aí o nosso mini, 17 vezes menor, ficou abaixo do GPT-2 em bits por caractere em português. Seria fácil anunciar isso e parar aí. Seria desonesto.

Os três pontos

1. Vocabulário 3 vezes menor, tabela de embedding 3 vezes menor: 12,9 M de parâmetros viraram 4,2 M só nessa peça.
2. Dígitos separados custam 58,3% a mais em texto com números, e são a escolha do Llama, Mistral e Qwen para somar melhor. O benefício em aritmética ainda não foi medido aqui.
3. A vantagem existe só onde o tokenizador cobra a diferença e some onde o GPT-2 tem corpus. Em inglês, empata. O que a tabela prova é que tokenização mal ajustada custa mais que 17 vezes de parâmetros.

Da apostila, o começo

Por que 16 mil tokens servem melhor a este corpus que 50 mil, o que ganhamos piorando os números de propósito, e o efeito colateral que não estava no plano.

O BPE do GPT-2 foi treinado no WebText: 40 GB de páginas em inglês. O algoritmo, como vimos no curso anterior, escolhe os pedaços que aparecem muito. Em inglês, tion aparece muito. Em português, ção aparecia pouco naquele corpus — então ele não virou token.