O leme e o modelo de mundo: três versões da mesma pergunta, medidas contra a anterior

A pergunta é uma só: o modelo sabe para onde vai antes de ir? Um preditor que não sabe qual ação foi tomada só consegue prever a média dos futuros possíveis. É o borrão de que LeCun fala. Foi o que a primeira versão mediu: cosseno 0,534 com o alvo, contra 0,46 de simplesmente copiar o estado. Ganho de 0,07, e custou qualidade. A segunda versão, que prevê o estado oculto seguinte, foi a única peça de todo o projeto que melhorou o gerador. A terceira recebe a ação: 'se eu emitir este token, onde vou parar?'. Ela prevê com cosseno 0,93. E custou até 9,59% ao gerador.

Os três pontos

1. v1, leme raso: +1,41% de custo, ganho de 0,07 sobre o piso. v2, leme profundo: −0,90%, melhora o gerador, perplexidade 185,55, a melhor de todas.
2. v3, modelo de mundo: recebe o token como ação e prevê o próximo estado. Erro 0,150 contra piso 0,948; cosseno 0,93. Custo +9,59% com peso 1,0; +3,25% com peso 0,1.
3. O que invalidaria a v3 foi escrito antes das rodadas: ganho zero, o controle sem SigReg ganhando, ou custo maior do que o leme profundo devolve.

Da apostila, o começo

A peça central em três versões — a que só apontava, a que aponta melhor, e a que imagina — com o que cada uma custou e comprou. As células vazias esperam rodadas que estão na fila; nenhuma será preenchida de cabeça.

A pergunta é uma só: o modelo sabe para onde vai antes de ir? Cada versão responde de um jeito, e cada uma foi medida contra a anterior no mesmo protocolo (apostila 06): mesmos dados congelados, 700 passos, semente 1337, melhor checkpoint, controle = cosseno 1,0 com validação 5,2706.