Duas transcrições — a palestra sobre modelos de mundo e a entrevista — lidas conceito por conceito, com o arquivo do projeto onde cada um se aplica, o que já estava certo e o que foi corrigido por causa delas.
A primeira fonte é a palestra de Yann LeCun sobre modelos de mundo, técnica: o modelo de mundo, a inferência por energia, colapso e como evitá-lo, SigReg, hierarquia, o DINO como encoder, o V-JEPA e a violação de expectativa. A segunda é uma entrevista com LeCun, menos técnica e mais precisa em três pontos que a palestra deixa implícitos: o que a JEPA é em relação ao Transformer, por que prever o mundo é impossível (e em que espaço deixa de ser), e o que é raciocinar. Esta apostila existe porque esses três pontos mudam a leitura do que construímos.
A pergunta do espectador foi exatamente essa — "você propõe uma alternativa ao Transformer?" — e a resposta é direta: a JEPA é uma macro-arquitetura, um arranjo de módulos; os módulos podem ser Transformers. O que ela substitui é o objetivo dos modelos atuais — a arquitetura autorregressiva que prevê o próximo símbolo no espaço dos dados —, não a peça que calcula representações.
Em model/architecture.py, a classe Transformer é o encoder: recebe tokens, devolve estados mundo (e mundo2 no nível 2), que recebe (
O que a entrevista chama de "GPT" — o objetivo autorregressivo — também está aqui, na cabeça de tokens. A apostila 09 explica por que ele fica: é o decodificador, o guardrail e a régua. A JEPA substitui o papel dele, não a peça.
O argumento da entrevista é mais fino do que o slogan. Prever o próximo quadro de um vídeo não funciona porque representar a incerteza sobre o futuro num espaço contínuo de alta dimensão é matematicamente intratável: não se sabe escrever uma distribuição sobre todos os quadros possíveis. Em texto, o problema não existe: o espaço é discreto e finito, e a distribuição sobre o próximo token é um softmax. Nas palavras dele, "é possível em espaço discreto como texto".
Isso tem duas consequências para nós, e as duas estão no código.
É também por isso que a variável latente ζ (--world-latent) é opcional aqui e obrigatória em vídeo: o borrão da média dos futuros existe nos dois casos, mas em texto o softmax já carrega a incerteza. O ζ nosso serve ao nível 2, onde um bloco de oito tokens pode continuar de muitos jeitos.
O trecho do cubo: gire um cubo imaginário 90° e diga se ele parece o mesmo. Ninguém responde gerando desenhos e comparando; responde-se manipulando um modelo mental. E a crítica aos LLMs com "raciocínio": eles geram muitas sequências de tokens e um segundo modelo escolhe a melhor — "primitivo", "não é como pensamos", e caro.
Essa frase pega o nosso modo energy no flagrante. A busca em feixe da apostila 09 imagina no latente, sim — mas ramifica por tokens: em cada passo imaginado, ela enumera as ações plausíveis como tokens e expande. É a versão em miniatura do "gerar muitas sequências e escolher". Funciona, mede-se, e não é o conceito.
O modo mpc, em server/ours.py: uma sequência de
Nenhum token é enumerado no caminho: a busca acontece inteira no espaço das ações contínuas. O guardrail por passo mantém cada
Os três modos ficam lado a lado, selecionáveis no painel «Antevisão · leme»: energy (busca por tokens, a versão "primitiva"), gradient (uma ação contínua, um passo) e mpc (a sequência inteira). Nada foi removido — a comparação entre eles é um experimento, não uma opinião.
No teste de fumaça, o mpc com horizonte 3 e 8 passos de gradiente custa cerca de 0,8 s por token nesta CPU; a busca em feixe, 0,05 s. As energias dos dois modos não são comparáveis em escala (o feixe acumula −log p; o MPC normaliza o guardrail pelo horizonte): compara-se o texto gerado e a surpresa, não o número da energia.
A entrevista define emoção de um jeito que dá para implementar: sistemas que otimizam um objetivo com um modelo de mundo antecipam se vão cumpri-lo, e essa antecipação — cumprir ou não — é a forma mínima de uma emoção. Sem raiva nem ciúme hardwired; só a previsão do desfecho.
No nosso sistema esse número já existia e não era guardado: é a menor energia que o planejador encontrou antes de emitir cada token. Agora ela vai para a trajetória (energia_prevista, em /nosso/trajetoria) e para o painel, ao lado da surpresa. As duas séries juntas contam a história de uma geração: o que o sistema esperava (energia prevista, baixa = "vou cumprir o rumo") e o que aconteceu (surpresa, alta = "o mundo foi para onde eu não previa"). A distância entre as duas é o material do laço de correção da apostila 09.
LeCun lista, nas duas falas, quatro características de um sistema inteligente: entender o mundo, ter memória persistente, raciocinar, planejar. A palestra é explícita: a percepção dá só o estado atual; para ter o estado completo do mundo, "você tem que combinar isso com o conteúdo de uma memória". Nós não temos isso. O único estado do nosso sistema é a janela de contexto — 256 tokens no mini — e o que sai dela deixa de existir. É a lacuna mais clara entre o que LeCun descreve e o que está construído, e está registrada como tal na tabela do §7, sem peça, sem chave e sem prazo.
Uma leitura de ponta a ponta da palestra, e não por palavra-chave, achou três conceitos ditos com todas as letras e sem peça no projeto. Estão implementados; o dado de cada um depende das rodadas wm*.
model/costs.py treina uma regressão logística sobre cost como energia da tarefa e soma os guardrails em todo estado imaginado, nos três modos.model/horizon.py compara o nível 1 rolado 8 passos com o nível 2 num passo, na mesma régua abstrata, contra o piso.plan_if_entropy: se a entropia do próximo token está abaixo do limiar, a cabeça de tokens decide e o planejador não roda. A trajetória grava a fração planejada — o custo do planejamento passa a ser pago só onde há dúvida.| Conceito (fonte) | Peça / arquivo | Estado |
|---|---|---|
| JEPA é macro-arquitetura; Transformer é módulo dentro dela (entrevista) | architecture.py: Transformer = encoder, mundo = preditor; nota na apostila 02 | Já estava; documentado (10) |
| Prever no espaço dos dados é intratável em contínuo, tratável em texto (entrevista) | cabeça de tokens mantida, perdas(); §3 desta apostila; 09 §1 | Já estava; justificativa corrigida (10) |
| Prever no espaço de representação, não dos dados (palestra) | perdas_mundo(): MSE de Pred( | Já estava; rodadas wm* na fila |
| Percepção → estado → ação proposta → modelo de mundo → energia; energia zero quando cumprido (palestra) | ours.py: _custo_tarefa = 1 − cos (zero no objetivo) | Já estava |
| Inferência por minimização de energia, mais poderosa que propagação fixa (palestra) | modos energy, gradient, mpc | Já estava; mpc aplicado (10) |
| Raciocinar no espaço mental, não gerando muitas saídas (entrevista) | modo mpc (sem enumerar tokens); modo energy marcado como a versão "primitiva" | Aplicado (10) |
| Guardrails aplicados a todos os passos da sequência (palestra) | _planejar: −log p acumulado; _mpc: distância à ação plausível por passo | Já estava; estendido ao mpc (10) |
| Planejamento hierárquico com subobjetivos (as duas) | mundo2, abstrair(), _subobjetivo; --world-levels 2, --world-enc2 | Já estava (2 níveis; "problema em aberto" na palestra) |
| Colapso: encoder ignora a entrada, representação constante (palestra) | piso de identidade em toda métrica; --sigreg-z; apostila 03 e 06 | Já estava |
| Regularizado em vez de contrastivo; minimizar o volume de baixa energia (palestra) | regularizers.py: cosseno, SigReg, VICReg, Barlow; nenhum par negativo | Já estava, medido |
| SigReg: distribuição isotrópica gaussiana por projeções 1-D (palestra) | sigreg(): Epps-Pulley em 64 projeções; --sigreg, --sigreg-z | Já estava, medido (na tabela: +1,51%, sem ganho de posto) |
| Variável latente contra o borrão da média dos futuros (palestra) | --world-latent, ζ ~ N(0, I), amostrado no planejador | Já estava; rodada wm1n2z16-sz1 na fila |
| DINO como encoder + modelo de mundo + planejamento (palestra) | train.py --base … --freeze-encoder; rodada wm-sobre-dino | Já estava; rodada ainda não disparada |
| Violação de expectativa: erro de predição dispara no impossível (palestra) | surprise.py, Transformer.surpresa(), /nosso/trajetoria | Já estava |
| MPC; RL só quando o plano falha, para ajustar o modelo de mundo (palestra) | correct_world.py (fumaça: 0,907 → 0,719) | Já estava |
| Emoção = antecipação do desfecho (entrevista) | energia_prevista na trajetória e no painel | Aplicado (10) |
| Memória persistente, combinada com a percepção para formar o estado (as duas) | --world-memory: vetor ganho_memoria; memory.py | Aplicado (10); rodada wm1n2mem-sz1 na fila |
| Custo e guardrail são "uma projeção pequena, treinada com pouquíssimas amostras" (palestra, resposta ao engenheiro de MPC) | costs.py: regressão logística sobre compass.cost, compass.guardrails | Aplicado (10); fumaça: 3 frases, acurácia 0,99 |
| A abstração existe para prever mais longe (palestra) | horizon.py: nível 1 rolado 1/2/4/8 passos × nível 2 num passo, na régua abstrata | Aplicado (10); sem dado até os wm* fecharem |
| "Levantar da cadeira não exige planejar; pode ser só uma política" (palestra) | compass.plan_if_entropy: abaixo do limiar, a cabeça de tokens decide sozinha; fracao_planejada na trajetória | Aplicado (10) |
| Combinar a percepção com a memória — inclusive quando não há memória (as duas; terceira leitura) | --world-memory-dropout: metade dos lotes com wm1n2mem-sz1-md0.5 | Aplicado (13): o furo fechou e o leme governa no mapa da memória; a memória quase deixou de carregar (+0,002) |
| Anticolapso por dimensão: "todas as colunas diferentes" (palestra; terceira leitura) | --vicreg-s2: variância + covariância nos estados abstratos; rodada wm1n2e-sz1-vs1 | Aplicado (13): não colapsou em direção (cos entre blocos 0,703), mas encolheu a escala 5× e perdeu informação (sonda −0,257); o leme não governa |
| A família de destilação (EMA, sem gradiente pelo alvo) é a que escalou: I-JEPA, V-JEPA (palestra; terceira leitura) | --world-ema: alvos wm1ema, wm1n2e-ema | Aplicado (13): wm1ema custa +0,45%, empatado com o controle entre sementes, e governa; wm1n2e-ema é o primeiro encoder de nível 2 aprendido que não colapsa (piso 0,399, sonda 0,712 contra 0,714 da média crua) |
| A restrição é "uma cabeça pequena sobre a representação" — a que o planejador consulta (palestra; terceira leitura) | costs.py --mixed: cabeça treinada nos estados reais e imaginados; modes.py --gamma-cost | Aplicado e medido (13): 0,0% de dígitos só no estado imaginado, em 4 de 4 mapas |
| "Não dá para jailbreakar um sistema que só otimiza o guardrail" (palestra) | modes.py --prompt-guardrail (prompts que pedem números); compass.candidates = latent (candidatos da energia, não da política) | Medido (13): 35–75% → 0–16%; a fração que passa é a do top-k da política; com candidatos do latente, 0,0% nos dois mapas — ao custo do rumo (afinidade abaixo da livre) |
| A representação elimina o que não é previsível (palestra) | unpredictable.py: erro do mapa por quartil de entropia do gerador | Medido (13 §7): erro plano — dado o token, a transição é determinística; o imprevisível está na ação |
| Memória persistente consultada, que sobrevive à sessão (as duas) | --world-bank: banco de estados abstratos + atenção; server/bank.py com turbovec (TurboQuant 4 bits) em disco | Aplicado (14); rodada wm1n2bco-sz1 na fila |
| Emoção = antecipação do desfecho (entrevista) — ela antecipa? | anticipation.py: energia prevista × afinidade real pelo juiz | Medido (13 §8): Spearman −0,61 no mapa preciso; +0,11 no fraco — a emoção é propriedade do mapa |
| Variável latente contra o borrão da média — em que nível? (palestra) | futures.py: ζ = 0, amostra, melhor de K, dispersão, por nível | Medido (13 §8): ruído em volta da média nos dois níveis (dispersão 15–18% do erro); blocos de 8 não deixam modo de variação de fora |
| Redundância nos dados é condição do auto-supervisionado, "mas não demais" (palestra) | redundancy.py, prepare_data.py --no-duplicates | Medido (13 §10): 0,28% duplicadas, 7,29% de 8-gramas repetidos |
| Aprender tarefas novas com poucos exemplos; "inteligência é o que se faz quando não se sabe" (palestra) | — | Fora do escopo deste ciclo |
Três coisas, e todas aditivas: o modo mpc, a energia prevista na trajetória, e a justificativa de manter a cabeça de tokens — que passou de "é o instrumento de medida" para "em texto o objetivo autorregressivo não sofre da intratabilidade que motiva a JEPA; o que ela compra aqui é o espaço onde planejar". A arquitetura em si estava alinhada; o que estava desalinhado era um modo de inferência apresentado como o conceito quando era a versão que o conceito critica.
As transcrições são um parágrafo só; tools/transcripts.py corta em frases e devolve as que batem com um termo, com as vizinhas. Cada busca abaixo foi feita para uma dúvida do projeto, e a coluna da direita diz o que a frase mudou.
| Termo | Frase(s) | O que diz | O que mudou no projeto |
|---|---|---|---|
collapse | palestra #245–253 | "o sistema pode ignorar a entrada e produzir representações constantes; a predição vira trivial"; "o truque inteiro é impedir o colapso" | piso de identidade em toda métrica (06); os três colapsos do nível 2 (11) |
rows|columns | palestra #313–320 | "linhas todas diferentes (contrastivo por amostra) ou colunas todas diferentes (por dimensão)" | --vicreg-s2 (13 §3) e o controle --nce-z (13 §4) |
upper bound | palestra #268–275 | "só temos amostras saindo de um encoder"; "toda medida empírica é um limite superior; cruzamos os dedos" | a sonda-intérprete info_level2.py e --world-enc2-probe (13 §9) |
relative|interpret | entrevista #179–185 | "a quantidade de informação depende de quem interpreta; entropia é a nossa ignorância" | idem; e a entropia do próprio gerador como régua do imprevisível (13 §7) |
latent | palestra #214 | "predição borrada porque prevê a média de tudo que pode acontecer; corrige-se com variável latente" | ζ, ζ-dropout (05); futures.py: sem futuros múltiplos em blocos de 8 (13 §8) |
memory | palestra #134; entrevista #41–43 | "combinar com o conteúdo de uma memória"; "memória persistente do tipo que nós temos" | memória somada (11), memória-dropout (13 §2), banco consultado (14) |
distill|moving average | palestra #411–420 | "os métodos de destilação são os que escalamos; o encoder da direita usa uma média móvel dos pesos"; "ideia vinda de estabilizar a variância em RL" | --world-ema (13 §4) |
guard|jailbreak | palestra #138–146 | "intrinsecamente seguro: só sabe otimizar guardrail e tarefa"; "aplicados a todos os passos da sequência" | cabeça mista, γc, prompts adversários, candidatos do latente (13 §5) |
hierarch|sub goal | palestra #146–170; entrevista #264–281 | "subobjetivos até uma ação que é só uma política"; "não temos ideia de como fazer isso" | nível 2 + subobjetivo (09), gating por entropia (12) |
policy|stand up | palestra #168–169; entrevista #278–279 | "levantar da cadeira sem pensar: pode ser só uma política" | plan_if_entropy (12) |
redundan | palestra #85–89 | "sem redundância não se aprende nada; mas não demais" | redundancy.py: 0,28% duplicadas / 7,29% de 8-gramas repetidos; --no-duplicates (13 §10) |
reinforcement | palestra #468; entrevista #78–91 | "RL é o que se faz quando se está desesperado"; "parte da solução, não suficiente" | correct_world.py: só quando o plano falha (09) |
search | entrevista #234–238 | "todo raciocínio é busca num espaço de soluções (o circuito mais curto)" | modos energy/mpc (12); custo por token |
uncertain|distribution over | palestra #191; entrevista #116–117, #423–425 | "em texto, dá para pôr uma distribuição sobre o dicionário e lidar com a incerteza" | a cabeça de tokens fica; o mapa prevê a transição dado o token (13 §7) |
cost function | palestra #102–103 | "o objetivo é uma função de custo: não é usada para aprender, é usada na inferência" | cabeças de custo só na inferência; o mapa não é treinado por elas (12) |
common sense | palestra #71, #441–453 | "violação de expectativa é como se mede se um bebê aprendeu um conceito"; "o erro de predição dispara no impossível" | surprise.py (05, 09) |
level of abstraction | palestra #333–344 | "cada nível da hierarquia ignora detalhe do de baixo para prever mais longe" | horizon.py (11) — e a ressalva da régua que encolhe (13 §9) |
three-dimensional|depth | palestra #50–56, #456 | "o bebê aprende que o mundo é 3D só olhando; uma cabeça sobre a representação prevê profundidade" | sondas lineares sobre probes.py) e sobre |
fixed number of layers | palestra #93–108 | "inferência por busca é intrinsecamente mais poderosa que um número fixo de camadas" | o leme como busca; s/token medido por modo (12) |
push the energy up|volume | palestra #294–304 | "contrastivo: gerar pontos fora e empurrar a energia; regularizado: minimizar o volume de baixa energia" | 04 (linhagem); o controle InfoNCE (13 §4) |
head on top|projector | palestra #234, #440, #487 | "uma cabeça pequena sobre a representação, treinada com pouquíssimas amostras — um projetor por restrição" | costs.py, cabeça mista (12, 13 §5) |
two views|mask | palestra #242–245, #440 | "duas vistas da mesma cena, ou corromper/mascarar e prever a representação do original" | --world-mask: o objetivo mascarado, I-JEPA em texto (13 §10) |
specialized|adaptive | palestra #36–41, #75 | "inteligência é aprender rápido uma tarefa nova; AGI não faz sentido como frase" | cabeças com poucos exemplos (12); fora do escopo o resto |
one GPU|scale up | palestra #404–407 | "treinamos modelos de mundo com SigReg numa GPU; funciona razoavelmente; o que falta é escalar" | a mesma escala honesta que este projeto declara (07) |
A última rodada de leitura: cinquenta termos, cada um com a frase que bate e o que ela muda — ou não muda — no projeto. Onde a coluna da direita diz "sem mudança", o trecho é contexto e fica registrado como tal.
| Termo | Frase(s) | O que diz | O que mudou no projeto |
|---|---|---|---|
baby|infant|months old | palestra #46–56 | aos dois meses o bebê só gesticula e aprende um modelo dinâmico dos próprios membros; aprende que o mundo é 3D só sendo movido | correct_world.py --active: a correção só onde a expectativa falhou (13 §11: não generaliza neste orçamento) |
object permanence|rigidity|stability | palestra #59–60 | permanência de objeto, estabilidade e rigidez são aprendidas muito cedo | conceitos de nível baixo aprendidos antes da física: a hierarquia é também uma ordem de aprendizado |
gravity|inertia|intuitive physics | palestra #61–63; entrevista #121–126 | gravidade e inércia levam nove meses; a criança faz o experimento | idem: --active (13 §11) |
throw|toys|high chair | palestra #62, #451 | o bebê joga os brinquedos para ver; a bola que some faz o erro disparar | violação de expectativa (`surprise.py`): continuações embaralhada e invertida são a bola que some |
self-driving|teenager|level five | palestra #15–17; entrevista #147–148 | milhões de horas de dados e ainda sem nível 5; um adolescente aprende em 20 h | dados não substituem modelo de mundo: o argumento contra 'só escalar' (07) |
declarative knowledge|accumulation of | palestra #30–31 | inteligência não é acúmulo de conhecimento declarativo; LLMs são | o gerador acumula; o mapa e o leme são a parte que 'faz' |
Piaget|when you don't know | palestra #25–27 | 'inteligência é o que se faz quando não se sabe' (apócrifo) | gating por entropia: planejar só onde há dúvida (12) |
Chomsky|Papert|perceptron | palestra #21–22 | o debate Piaget–Chomsky; Papert defendendo o perceptron dez anos depois de enterrá-lo | contexto histórico; sem mudança |
trillion|bytes|optic nerve | palestra #79–80; entrevista #158–161 | 20–30 trilhões de tokens ≈ 10¹⁴ bytes; dois milhões de fibras ópticas a 1 byte/s | o corpus de 200 MB deste projeto é 10⁻⁶ disso: a escala é declarada, não escondida (07) |
four-year-old|16,000 hours | palestra #81; entrevista #169 | quatro anos de visão = 16.000 horas ≈ 10¹⁴ bytes, o mesmo que todo o texto público | idem |
perception module|currently perceive | palestra #96, #133 | a percepção produz só a representação do que se percebe agora | estado = percepção + memória: a memória somada (11) e o banco (14) |
action sequence|proposal for an action | palestra #119–122 | imagina-se uma sequência de ações e busca-se a que minimiza a energia | modo `mpc`: sequência de H ações otimizada no latente (12) |
zero if the task|distance to the task | palestra #137 | o objetivo dá zero quando a tarefa está cumprida e uma distância quando não | cabeça de tarefa = 1 − p(z): zero no objetivo (12) |
kill anyone|deleterious|hurt | palestra #138 | guardrails garantem que nenhuma sequência de estados 'mate ou machuque alguém' | guardrail 'sem-numeros' é a versão de brinquedo; a estrutura é a mesma (12, 13 §5) |
10 millisecond|muscle|elementary actions | palestra #148–149 | não dá para planejar a viagem em ações musculares de 10 ms | por isso o nível 2 planeja em blocos, não em tokens (09) |
taxi|airport|elevator | palestra #151–163; entrevista #266–267 | não se sabe quanto tempo o táxi demora: planejar em detalhe é impossível por falta de informação | compass.subgoal_until + subgoal_ruler: subobjetivo persistente com chegada (13 §11: régua do token nunca chega; régua do bloco empata com replanejar — o bloco de 8 é curto demais para persistir) |
PhD|unsolved|nobody knows | palestra #172–173 | planejamento hierárquico é 'problema em aberto; ótimo tema de doutorado' | o `plano2` é uma tentativa; a 09 não afirma tê-lo resolvido |
generative model|reconstruct | palestra #180, #221 | 15 anos tentando modelos de mundo, 10 falhando por serem generativos; reconstruir Y 'nos mínimos detalhes' | o mapa prevê estado, não token; a cabeça de tokens fica só para o gerador (05) |
blurry|GAN|two frames | palestra #214 | prever dois quadros dá borrão: a média de tudo que pode acontecer | `futures.py`: em texto, dado o token, não há borrão a corrigir (13 §8) |
autoencoder|identity function | palestra #246, #296 | um autoencoder sem restrição aprende a identidade: colapso | o piso de identidade é o colapso medido em toda tabela (06) |
representation space|joint embedding | palestra #208, #218; entrevista #402, #428 | prever no espaço de representação; JEPA não é alternativa ao Transformer | a arquitetura inteira (02, 05, 10) |
MCR|Barlow|VICReg|information maximization | palestra #253–260 | MCR, MCR², W-MSE, VICReg, Barlow Twins: seis anos de maximização de informação | a linhagem da 04; VICReg e SigReg implementados |
differentiable|back-propagate | palestra #265–266 | precisa-se de uma medida diferenciável de informação para retropropagar | a sonda-intérprete é diferenciável e entra no treino: --world-enc2-probe (13 §9, rodada sd1) |
dependency|not a function|relation | palestra #279–280; entrevista #103 | não há um Y por X: é uma dependência, não uma função | Transformer.energia_dependencia: mínimo sobre as ações plausíveis; violação de ordem +130–142% contra +38% dado o token (13 §11) |
landscape|valley|lake|level curves | palestra #285–286 | a energia é uma paisagem: os dados no vale, a altitude sobe ao sair | o plot da energia por candidato no painel é essa paisagem em uma dimensão |
probabilistic|likelihood|special case | palestra #105, #183; entrevista #98 | modelos probabilísticos são caso especial dos de energia; o LLM é o BERT que só tira a última palavra | −log p entra na energia como um termo (γ), não como o todo (12) |
isotropic|independent|same variance | palestra #318, #374 | gaussiana isotrópica = variáveis independentes, maximamente informativas cada uma | SigReg-z e o piso gaussiano medido (05, 06) |
marginal|cumulative|staircase | palestra #384–390 | projeta em uma direção, compara a distribuição acumulada (escada) com a da gaussiana | `sigreg()`: Epps-Pulley em 64 projeções (04) |
Cramer|theorem|rotation | palestra #399 | se todas as projeções 1-D são gaussianas, a conjunta é isotrópica (Cramér-Wold) | idem |
spiral|nonlinear transformation | palestra #408 | teorema: se os dados são gaussianos transformados não linearmente, o SigReg recupera a gaussiana até rotação | o que justifica medir `sigreg_razao` como 'razão ao piso' |
BYOL|bootstrap|DeepMind | palestra #420–421 | o EMA veio do DeepMind, para estabilizar variância em RL; BYOL | --world-ema (13 §4); correct_world.py --target-ema (13 §11) |
I-JEPA|MAE|faster to train | palestra #422 | I-JEPA bate o MAE e treina mais rápido | contexto da família de destilação |
DINO|best encoder|engineering | palestra #423–425 | DINO: destilação com 'muitos truques de engenharia'; o melhor encoder genérico de imagens | `--dino`, rodada `wm-sobre-dino` (04, 05) |
pendulum|push-T|25 steps | palestra #407 e vizinhas | planejador com DINO-WM resolve push-T e pêndulo duplo em menos de 25 passos | o horizonte 3 do modo energia é a versão mínima |
16 frames|window of | palestra #446 | V-JEPA olha 16 quadros e prevê os 16 seguintes | janela de 256 tokens e blocos de 8: a mesma estrutura de janela deslizante |
ball|disappears | palestra #451 | bola que some: o erro de predição 'vai ao teto' | continuação invertida +32% no mapa contra −3% na identidade (05) |
segmentation|features|action recognition | palestra #440, #460 | cabeças sobre o encoder: reconhecimento de ação, segmentação | sondas (`probes.py`): o análogo em texto |
abandon|academia | palestra #464–466 | 'abandone modelos generativos, probabilísticos, contrastivos, RL' — 'não trabalhe em LLM na academia' | o projeto mantém o gerador e adiciona o resto: escolha deliberada (00) |
AMI|industrial process|physical AI | entrevista #4; palestra #47 | AMI Labs: 'IA para o mundo real' — robótica, processos industriais | o domínio deles é contínuo; o nosso é discreto — a §7 mede a diferença |
constraint|engineer|wall | palestra #487–491 | 'como pôr a restrição "não bata na parede" no espaço de representação?' — 'uma cabeça pequena' | a cabeça de guardrail, e a lição de treiná-la onde é lida (13 §5) |
two samples|open a door | palestra #491 | 'a porta está aberta?' — um custo de tarefa treinado com 'duas amostras' | costs.py --prototype: duas amostras literais (13 §11: não separa; dez frases e regressão) |
emotion|fear|elation|happy | entrevista #5, #43 | medo, entusiasmo, elação: antecipações do desfecho | `energia_prevista`; `anticipation.py` mede se antecipa (13 §8) |
consciousness|definition of | entrevista #7, #51 | não há definição nem medida de consciência; 'não é a pergunta certa' | fora do escopo; sem mudança |
retina|upside down | entrevista #205–208 | a imagem na retina é invertida e a pergunta 'como vemos direito?' não faz sentido | analogia para perguntas mal postas; sem mudança |
diverse|tribe|wired | entrevista #218–220 | cérebros ligeiramente diferentes; a diversidade é força da tribo | --seed, --seeds 2,3, média ± desvio no relatório (13 §10) |
cube|rotate | entrevista #247–249 | gire um cubo 90° na cabeça: raciocínio no espaço mental, não em ações | modo `mpc` (12) |
GPS|circuit|permutations | entrevista #235–238 | o circuito mais curto entre cidades: busca no espaço das permutações | o leme é busca; os modos diferem em onde buscam (12) |
glasses|assistant|inference | entrevista #380–385; palestra #92, #104 | óculos com assistente; 'o custo é usado na inferência, não no aprendizado' | cabeças de custo só na inferência (12) |
Stargate|billion|infrastructure | entrevista #159 e vizinhas | 60–80 bilhões por ano em infraestrutura, quase tudo para inferência | a inferência por busca custa mais por token: medido por modo (12) |
regret|unsupervised|Hinton | entrevista #474–494 | o arrependimento: ter demorado a levar o auto-supervisionado a sério; Hinton e a retropropagação | contexto; sem mudança |
mpc — a projeção da ação contínua de volta ao token mais próximo. A palestra resolve pelo próprio enquadramento: "modelos probabilísticos são um caso especial de modelos de energia", e num conjunto finito a inferência é minimizar a energia sobre o conjunto. Aplicado: cada candidato discreto é avaliado com o resto do plano contínuo atrás dele, e vence o token cujo futuro planejado tem a menor energia — não o mais próximo de plan2_steps — o nível 2 busca a própria ação abstrata por gradiente, rolando o WM2 plan2_h blocos em direção ao objetivo final; o primeiro bloco imaginado vira o alvo do nível 1. A intenção escrita passa a ser só o ponto de partida da busca.costs.py --score julga textos com a cabeça de outra rodada; o gerador e o juiz deixam de partilhar o espaço.mpc com compromisso por energia fica atrás dessa configuração em todos.A leitura de LeCun não termina: cada falha medida volta ao texto (apostila 13), e cada peça que o texto pede vira rodada (apostila 14).