O que a JEPA é, segundo LeCun: duas falas lidas conceito por conceito, e onde cada um se aplica

O vídeo que inspirou tudo: Yann LeCun explicando o que falta aos LLMs para entender o mundo. Lemos conceito por conceito e aplicamos em texto. Duas fontes: a palestra sobre modelos de mundo, técnica, e a entrevista, menos técnica e mais precisa em três pontos. Um espectador perguntou: 'você propõe uma alternativa ao Transformer?'. A resposta é direta: não. A JEPA é uma macro-arquitetura, um arranjo de módulos, e os módulos podem ser Transformers. O que ela substitui é o objetivo: prever símbolos. Raciocinar é buscar no espaço mental, não no espaço de saída. Emoção é antecipação do resultado. Cada conceito dessas falas tem um arquivo do nosso projeto onde se aplica, e vários foram corrigidos por causa delas.

Os três pontos

1. A JEPA não é uma alternativa ao Transformer. É uma macro-arquitetura, e o Transformer é o encoder dentro dela.
2. 'Prever o mundo é impossível' vale onde há detalhe imprevisível. Em texto, a ação discreta já elimina o que a JEPA elimina em vídeo. O que resta é a dinâmica do estado.
3. Raciocinar é buscar no espaço mental. Emoção é antecipação. Memória persistente é requisito. Os três viraram peças, e as três estão medidas.

O vídeo

A palestra de Yann LeCun que este capítulo lê conceito por conceito. Assista antes ou depois; a apostila cita os trechos com o minuto.

Da apostila, o começo

Duas transcrições — a palestra sobre modelos de mundo e a entrevista — lidas conceito por conceito, com o arquivo do projeto onde cada um se aplica, o que já estava certo e o que foi corrigido por causa delas.

A primeira fonte é a palestra de Yann LeCun sobre modelos de mundo, técnica: o modelo de mundo, a inferência por energia, colapso e como evitá-lo, SigReg, hierarquia, o DINO como encoder, o V-JEPA e a violação de expectativa. A segunda é uma entrevista com LeCun, menos técnica e mais precisa em três pontos que a palestra deixa implícitos: o que a JEPA é em relação ao Transformer, por que prever o mundo é impossível (e em que espaço deixa de ser), e o que é raciocinar. Esta apostila existe porque esses três pontos mudam a leitura do que construímos.