Memória e horizonte: duas afirmações de LeCun que viraram experimento, e as duas valem para texto

LeCun diz: cada nível de abstração prevê mais longe que o de baixo. Medimos. Vale para texto. Duas afirmações dele viraram experimento. A primeira: combine a percepção com o conteúdo de uma memória. Um modelo de linguagem comum não tem isso, tem a janela. Colocamos um vetor de memória que persiste, e a memória do texto certo previu melhor que a de outro texto mesmo uma janela inteira depois. A segunda: o nível abstrato, que nunca viu os tokens individuais, prevê o bloco seguinte num passo com quatro vezes mais ganho do que o nível de tokens rolado oito vezes. Com a escala honesta de um modelo de 7,4 milhões.

Os três pontos

1. Memória: a do texto certo prevê melhor que a de outro texto (0,173 contra 0,193), e a de uma janela atrás vale tanto quanto a recente. Persistência, não recência.
2. O limite: o passado inteiro vale menos que cada metade. A memória somada dilui. É o que motiva a apostila 14.
3. Horizonte: nível 2 num passo ganha +0,078 sobre o piso; nível 1 rolado oito vezes ganha +0,020. A abstração prevê mais longe, quatro vezes.

Da apostila, o começo

Duas afirmações de LeCun que viraram experimento: "combine a percepção com o conteúdo de uma memória" e "cada nível de abstração prevê mais longe que o de baixo". As duas foram medidas, e as duas valem para texto — com a escala honesta de um modelo de 7,4 M.

LeCun lista, nas duas falas, a memória persistente como requisito de um sistema inteligente, e a palestra diz onde ela entra: a percepção dá só o estado atual; o estado completo é a percepção combinada com o conteúdo de uma memória. Um modelo de linguagem comum não tem isso — tem a janela de contexto, e o que sai dela deixa de existir.