O mínimo estava fora da lista: o dia em que medi a minha própria busca por energia

Passei semanas dizendo que o meu sistema escolhia a próxima palavra "buscando a menor energia". Fui medir. Em 96 testes, ele não achou a menor energia uma única vez. O método era este: pegar os 8 candidatos mais prováveis e reordená-los por energia. Parece busca. Só que os 8 candidatos saem da mesma rede que eu queria corrigir — se o mínimo verdadeiro está fora dessa lista, a busca nunca o encontra. Calculei o mínimo exato sobre as 16.392 opções do vocabulário, uma por uma, e comparei. O resultado tem duas pontas e as duas incomodam. Com o ajuste padrão, a lista acerta o mínimo em 100% das vezes — mas só porque a energia tinha virado, quase inteira, a probabilidade da própria rede. Quando dou voz ao objetivo, a lista erra o mínimo em 100% das vezes. Ou não há leme, ou o leme nunca esteve na lista.

Os três pontos

1. A busca por energia não buscava. Com os 8 candidatos da rede, o mínimo verdadeiro ficava de fora em 70% das posições na energia do modelo de mundo, e em 100% delas quando o objetivo tinha peso. Nem com 128 candidatos a cobertura passa da metade.
2. Não existe A resposta, e agora tem número: 12,9 ações diferentes ficam a menos de 5% do mínimo. Escolher uma é amostragem, não inferência — exatamente o que a palestra diz ao chamar isso de relação, e não de função.
3. O modelo com a MELHOR perda de validação é o que tem a paisagem de energia mais rasa: a energia de um ponto qualquer do espaço sai cerca de quatro vezes mais barata nele do que no modelo regularizado, em todas as 18 medidas repetidas. As três medidas de colapso que eu registrava a cada avaliação não avisaram nada.

Da apostila, o começo

A palestra faz duas afirmações sobre energia que dá para conferir com régua: que a inferência é uma busca pelo mínimo, e que treinar um modelo de energia é impedir que a paisagem fique plana. Fomos medir as duas no nosso modelo. A primeira nos pegou onde dói: existe um ajuste em que o que chamávamos de busca por energia não achava o mínimo em nenhuma das 96 posições testadas — e outro em que ele acha sempre, mas só porque a energia virou a própria política.

Do trecho da palestra sobre modelos de energia, duas afirmações são checáveis e nunca tinham sido checadas aqui.

A primeira é sobre inferência. "Inference by optimization, not by forward propagation." Dado um x, os y compatíveis são os que minimizam a energia; achá-los é uma busca, não uma passada para a frente. E ele insiste no que isso implica: "there's no single y for a given x — it's a relation, not a function", e portanto "you can give me multiple answers".

A segunda é sobre treino. "To train an energy-based model you have to prevent collapse. The collapse problem would be manifested by the energy function being flat everywhere." E as duas saídas: a contrastiva, "you generate points outside the region of data and you push the energy up"; e a regularizada, que ele prefere, "minimizing the volume of space that can take low energy".