O Antevisão é um experimento em andamento. Cada ideia vira uma rodada de treino contra o mesmo controle, e o resultado entra no capítulo com o número que o sustenta — inclusive quando o resultado é ruim. Esta página muda sempre que uma rodada fecha.
Yann LeCun, sobre modelos de mundo
Nesta palestra LeCun argumenta que prever símbolos não basta para um modelo de mundo, e propõe um caminho complementar: prever no espaço latente, escolher por energia, evitar o colapso por regularização, e planejar em vez de reagir.
O Antevisão pega essas ideias e faz o que ele não faz: traz para o texto, e mede. O capítulo 10 lê a palestra conceito por conceito e diz onde cada um entrou no código.
Ler a leitura da palestra →Num dia, o experimento ganhou dois capítulos e corrigiu duas afirmações que eu já tinha publicado.
Nove medidas fechadas, dois capítulos novos, quatro corrigidos, nenhuma célula "aguardando" aberta na coleção.Um curso e um experimento. O experimento começa onde o curso para.
Para quem já entende o Transformer e quer acompanhar um experimento de verdade: um modelo de mundo que ensaia no espaço latente antes de emitir o token, medido rodada a rodada, com os erros registrados.
O que você sai sabendo: o que a JEPA é de verdade, por que o colapso acontece, como se escolhe por energia, e o que funcionou e o que não funcionou, com número.
Para quem acompanha o assunto pelo noticiário e quer saber o que, daquilo, dá para verificar — e o que não dá.
O que você sai sabendo: o que sustenta ou derruba uma afirmação que está circulando, com a medida feita aqui e o método para repetir.
Para quem nunca abriu um modelo por dentro, ou usa LLM todo dia e quer saber o que acontece entre a pergunta e a resposta.
O que você sai sabendo: como texto vira número, o que a atenção faz, o que a escala compra, e a única linha de código que separa o GPT do BERT.
Escreve o curso do GPT-2 e conduz o experimento Antevisão, medindo cada rodada antes de publicar o número. Os posts no LinkedIn começam aqui e terminam nas apostilas.
Seguir no LinkedIn →