Custos aprendidos e modos de inferência: as três buscas e as duas fontes de energia, medidas
Energia, gradiente e MPC, com um juiz independente. Primeira leitura: nenhum governa. Segunda: um governa e ainda fica mais plausível.
Caiu aqui pelo LinkedIn? Este é o capítulo 12 do experimento Antevisão · Latent Rehearsal. Dá para ler solto; se quiser o começo, é o capítulo 00.
Na primeira leitura, nenhum modo de inferência governava. A geração livre tinha mais rumo que qualquer planejador. A energia é a soma de duas coisas: o que o sistema quer e o que ele não pode. A inferência é a busca que a minimiza. Três buscas: energia, gradiente, controle preditivo. Com peso 1, todas ficaram abaixo da geração livre. O mapa previa o estado seguinte com cosseno 0,93, mas as energias dos oito candidatos eram quase iguais. A causa não era nenhuma das que suspeitamos. Com peso 0,1, cabeça aprendida e custo no estado real, o leme governou: mais rumo e mais plausível ao mesmo tempo. O único modo que melhora os dois eixos. As três peças foram necessárias juntas.
Os três pontos
- A energia: tarefa (distância ao rumo) mais guardrail (menos log p). A tarefa pode ser um rumo em texto ou uma cabeça aprendida com três frases positivas.
- O juiz independente: uma cabeça treinada em outro lugar diz se o texto gerado tem o rumo pedido. Sem ele, o planejador julga a si mesmo.
- A melhor configuração: cabeça aprendida, custo no estado real, peso 0,1. Afinidade 0,355 contra 0,256 da livre, com perplexidade 36,7 contra 48,5.
Da apostila, o começo
A energia é a soma de duas coisas — o que o sistema quer e o que ele não pode — e a inferência é a busca que a minimiza. Esta apostila mede as três buscas e as duas fontes de energia num modelo de mundo treinado.
E(z) = tarefa(z) + γc Σ guardraili(z) + γ · (−log p) acumulado ao longo da trajetória
O que a apostila cobre · 3 seções · 17 min
- A energia
- Os modos de busca
- O juiz independente
Todos os capítulos do experimento · Antevisão · Latent Rehearsal
- 00 · Antevisão: um ELLM, um modelo de linguagem que ensaia no latente antes de falar
- 01 · O tokenizador próprio: por que 16 mil tokens servem melhor a este corpus que 50 mil, e o que a tabela inteira mostra
- 02 · Duas arquiteturas, um arquivo: o duelo justo entre 2019 e o que veio depois
- 03 · A geometria do embedding: o treino começa com um espaço perfeito e o estraga
- 04 · A linhagem do colapso: cinco respostas da visão computacional, cada uma medida em texto
- 05 · O leme e o modelo de mundo: três versões da mesma pergunta, medidas contra a anterior
- 06 · Método e erros: as regras de uma comparação legítima e o catálogo dos nossos enganos
- 07 · Escala e orçamento: quanto custa chegar ao GPT-3, e por que a VRAM quase nunca é o limite
- 08 · A bancada: servir, radiografar e treinar pelo navegador
- 09 · A arquitetura hierárquica: o projeto inteiro alinhado aos quatro padrões do modelo de mundo
- 10 · O que a JEPA é, segundo LeCun: duas falas lidas conceito por conceito, e onde cada um se aplica
- 11 · Memória e horizonte: duas afirmações de LeCun que viraram experimento, e as duas valem para texto
- 12 · Custos aprendidos e modos de inferência: as três buscas e as duas fontes de energia, medidas
- 13 · As correções pelas falas de LeCun: falha, trecho, flag, medida
- 14 · Memória consultada: um banco de estados abstratos lido por atenção
- 15 · O que custa e o que entrega: nós, o GPT-1 e o GPT-2 na única régua que vale entre tokenizadores
- 16 · O mínimo estava fora da lista: o dia em que medi a minha própria busca por energia
- 17 · ELLM: o nome certo para um modelo de linguagem que prevê no latente e decide por energia
- 18 · Procurar melhor não conserta a energia: três buscas, o mesmo texto
- 19 · A inversão que não se repetiu: o custo do modelo de mundo aparece quando a régua para de oscilar
- 20 · O que mudou em 17/09: dois capítulos novos e duas correções
Escreve o curso do GPT-2 e conduz o experimento Antevisão, medindo cada rodada antes de publicar o número. Os posts no LinkedIn começam aqui e terminam nas apostilas.
Seguir no LinkedIn →