Memória consultada: um banco de estados abstratos lido por atenção

A memória somada persiste, mas dilui: o passado inteiro vale menos que cada metade sozinha. A apostila 11 mediu isso: memória longa erra 0,181, memória só recente erra 0,173. Somar o passado num vetor é perder o que se soma. LeCun pede outra coisa: uma memória consultada, que sobrevive à janela e à sessão. Aqui ela vira um banco de estados abstratos lido por atenção, com um índice vetorial quantizado a 4 bits: 128 bytes por estado em vez de 1 024, um milhão de blocos em 128 MB. A rodada que mede se a atenção escolhe no passado inteiro em vez de diluí-lo está na fila.

Os três pontos

1. O que a soma não faz: o passado inteiro vale menos que cada metade. A atenção sobre um banco escolhe em vez de diluir.
2. Por que um índice vetorial: um milhão de blocos cabem em 128 MB a 4 bits, com busca SIMD e persistência incremental. A atenção usa só os k recuperados, em fp32.
3. Como ler a rodada: o banco passa se 'longa' ganha de 'recente' e 'vazio' fica neutro. Se o ganho for zero, o próximo passo é passado mais longo, não outra peça.

Da apostila, o começo

A apostila 11 mediu que um vetor de memória persiste, mas dilui: o passado inteiro vale menos que cada metade. LeCun pede outra coisa — uma memória consultada, que sobrevive à janela e à sessão. Aqui ela vira um banco de estados abstratos lido por atenção, com um índice vetorial quantizado (turbovec) guardando o banco em disco.

A memória da apostila 11 é um vetor m por sequência, atualizado a cada bloco que sai da janela: m ← m + f([m ; sbloco]). Ela persiste — a predição com a memória do texto certo ganha +0,019 sobre a memória de outro texto, mesmo uma janela inteira depois. Mas a mesma tabela mostrou o limite: "longa" (A+B) erra 0,181, pior que "recente" (só B, 0,173) e que "só antiga" (só A, 0,174). Um vetor de capacidade fixa não acumula: cada bloco novo sobrescreve parte do anterior. Quanto mais passado, menos de cada pedaço.

LeCun descreve outra peça. A palestra: "você pode ter de combinar a percepção com o conteúdo de uma memória para ter o estado completo do mundo". A entrevista: sistemas com "memória persistente, do tipo que nós temos". E o slide da arquitetura tem a memória como um módulo consultado pelo modelo de mundo, não como um somatório. A apostila 11 deixou isso escrito como pergunta em aberto: "a memória consultada, não só somada, exige atenção sobre um banco de estados abstratos, e é outra peça". Esta é a peça.