Procurar melhor não conserta a energia: três buscas, o mesmo texto

Consertei a busca do meu modelo para achar a menor energia de verdade, entre 16.392 opções. O texto não melhorou. A medida anterior tinha mostrado que o meu gerador olhava só 8 candidatos e perdia o mínimo da energia. Então escrevi a busca exata. Primeiro ela deu texto pior — e o motivo era um defeito meu: a busca ignorava o termo que mede se a palavra é plausível. Corrigido, testei três lugares para procurar: os 8 mais prováveis, o vocabulário inteiro e o núcleo da distribuição. Com o mesmo peso de plausibilidade, as duas buscas exatas caíram no mesmo ponto: afinidade ao tema 0,48, perplexidade 83. Exatamente o ponto que a lista curta já alcançava baixando esse peso. Procurar melhor anda sobre a troca entre seguir o tema e escrever algo plausível. Não a desloca.

Os três pontos

1. O primeiro resultado da busca exata foi um defeito: ela ordenava o vocabulário só pelo rumo, sem o termo de plausibilidade, e a perplexidade chegou a 2.098. Com a energia inteira, o número caiu para 83.
2. Três buscas — os 8 mais prováveis com peso de plausibilidade menor, o vocabulário inteiro e o núcleo da política — caem no mesmo ponto: afinidade entre 0,476 e 0,488, perplexidade entre 82 e 84.
3. O que segura a plausibilidade é a posição do token na lista da política, não a massa de probabilidade: a política do modelo é tão plana que o núcleo de 80% tem 2.000 tokens, e os escolhidos pela energia estão entre a 9ª e a 128ª posição.

Da apostila, o começo

A apostila 16 mostrou que a busca por energia não achava o mínimo e criou uma busca exata. Esta mede o que a busca exata faz com o texto, e o resultado aponta para outro lugar: a troca entre seguir o rumo e escrever algo plausível é decidida pela energia, não por onde se procura.

O gerador, no modo energia, escolhe cada token em dois passos. Primeiro monta uma lista curta de candidatos. Depois imagina, no espaço latente, para onde cada candidato levaria o texto, e dá a cada um uma energia com dois termos: o quanto o estado previsto se afasta do rumo pedido e o quanto o token é improvável segundo a própria cabeça de tokens.

A apostila 16 mostrou que a lista curta — os 8 tokens mais prováveis — muitas vezes não contém o token de menor energia: com γ = 0 isso acontece em todas as 96 posições medidas. A resposta foi um modo novo, todos, que calcula a energia de cada um dos 16.392 tokens do vocabulário e pega os de menor energia. Ficou uma pergunta, a primeira da lista de perguntas em aberto daquela apostila: achar o mínimo de verdade melhora o texto, ou só abaixa a energia?