Onde, segundo Yann LeCun, está o limite do caminho que o GPT-2 abriu — e por que esse limite é uma pergunta de pesquisa, não um veredito contra o modelo. O argumento inteiro, lido de dentro do modelo que você acabou de desmontar.
O capítulo 15 termina com uma pergunta e não a responde: até onde vai o caminho que o GPT-2 abriu? Quinze apostilas desmontaram esse modelo até a última linha, numa máquina comum, sem GPU. Você viu texto virar número, viu a atenção substituir vinte anos de redes recorrentes, viu o que a escala compra e o que ela não compra, e mediu perplexidade em vez de contar anedota.
Agora vem a parte que olha para a frente. Tudo isso funciona — e foi a base de quase tudo o que veio depois. Mesmo assim, há um argumento sério de que esse caminho, sozinho, tem um teto. O argumento é de Yann LeCun, e ele não é sobre engenharia: não é "falta dado", "falta parâmetro" ou "falta contexto". É sobre a forma do problema que o modelo resolve.
Esta apostila é a leitura desse argumento, peça por peça, sempre apontando para a peça correspondente que você já abriu no curso. As ideias são de LeCun e são citadas como dele. A leitura em termos do GPT-2 é a nossa parte.
Volte ao capítulo 07. O modelo produz um vetor de logits, um número por token do vocabulário, e o softmax transforma isso numa distribuição de probabilidade. Foi assim que você amostrou texto com temperature, top-k e top-p.
LeCun aponta que esse gesto inteiro depende de uma condição: o vocabulário é finito. Nas palavras dele, é fácil porque existe só um número finito de palavras, e por isso dá para fazer o sistema produzir uma distribuição de probabilidade sobre todas as palavras possíveis do dicionário. Você não consegue treinar um sistema a prever exatamente qual palavra vem a seguir — mas consegue treiná-lo a dar uma pontuação para cada palavra do dicionário.
Repare no que isso concede e no que cobra. Concede uma saída tratável: 50.257 números no GPT-2, e pronto. Cobra que o mundo caiba num dicionário. Para texto, cabe. Para vídeo, para som, para o mundo físico, não cabe — não existe o "dicionário de todos os quadros possíveis". O truque central do GPT-2, aquele que você viu funcionar no laboratório 07, é um truque que só se aplica a símbolos discretos.
Este é o número mais duro da palestra, e ele é fácil de conferir.
LeCun estima que uma criança de quatro anos já recebeu, por visão — e provavelmente por tato também —, algo em torno de 1014 bytes. Do outro lado, ele faz a conta do lado dos modelos: vinte ou trinta trilhões de tokens, a cerca de três bytes cada, dão também mais ou menos 1014 bytes. Um 1 seguido de catorze zeros, nos dois casos.
| Fonte | Volume | Em quanto tempo |
|---|---|---|
| Uma criança de quatro anos, por visão e tato | ~1014 bytes | quatro anos acordada |
| 20 a 30 trilhões de tokens, ~3 bytes cada | ~1014 bytes | essencialmente todo o texto público |
É a mesma ordem de grandeza. De um lado, quatro anos da vida de uma criança pequena. Do outro, praticamente tudo o que a humanidade escreveu e digitalizou. E a criança sai desses quatro anos sabendo que objetos caem, que um copo empurrado para fora da mesa quebra, que um rosto escondido continua existindo. O modelo sai dos mesmos 1014 bytes sabendo escrever sobre isso.
A conclusão de LeCun não é que o texto seja inútil. É que o texto é um canal de banda estreita demais para carregar o que ele chama de senso comum físico. Se todo o texto do mundo cabe no que uma criança vê antes de aprender a ler, o gargalo não é a quantidade de texto.
LeCun volta ao paradoxo de Moravec mais de uma vez: o que é simples para pessoas é difícil para computadores, e o que é complicado para pessoas — xadrez, integrais simbólicas, teoremas — sai relativamente barato na máquina.
A forma que ele dá ao paradoxo é útil aqui: o espaço dos objetos discretos e dos símbolos é facilmente manipulado por computadores; o mundo real, não. E as técnicas que funcionam num caso não funcionam no outro. Um gato ou um cachorro aprendem sobre gravidade em poucos meses. Nenhum sistema atual chega perto disso.
Você mediu esse paradoxo sem perceber, no capítulo 06. Ir de 124 milhões para 1,5 bilhão de parâmetros comprou melhora real em perplexidade — e o GPT-2 large, com 774 milhões, ainda errou a capital da França que o medium, com 355 milhões, acertou. Escala compra fluência com regularidade; não compra modelo de mundo com regularidade.
Aqui está o núcleo técnico do argumento, e ele tem consequência direta sobre a arquitetura que você montou no capítulo 05.
LeCun conta o que acontece quando se tenta o mesmo truque do GPT-2 em vídeo: mostrar o começo de um vídeo e pedir a previsão do que vem depois, no nível do pixel. Não funciona bem, e — isto é o mais importante — as representações que saem do sistema não são particularmente boas. O esforço de prever cada detalhe da saída gasta a capacidade do modelo no que é imprevisível por natureza.
A proposta dele é mudar o lugar da previsão. Na arquitetura que ele chama de JEPA — joint embedding predictive architecture —, você observa a entrada e o alvo, codifica os dois, e a previsão acontece nesse espaço de representação, não no espaço da saída. Ele observa que os melhores sistemas de representação de imagem e vídeo por aprendizado auto-supervisionado usam justamente joint embedding.
Traduzindo para o que você desmontou: o GPT-2 prevê o próximo símbolo. A alternativa prevê o próximo estado, num espaço aprendido, e só depois decide o símbolo. O capítulo 04 mostrou que uma única linha de código — a máscara causal — separa o GPT do RoBERTa. A distância entre prever símbolo e prever representação é maior do que uma linha, mas é da mesma natureza: uma escolha de onde a previsão acontece.
Há um detalhe formal que sustenta o resto. LeCun insiste que, dado um X, não existe um único Y. A dependência entre os dois é uma relação, um mapeamento — mas não uma função.
Isso é visível no seu próprio laboratório 07. Para "o gato sentou no", não há uma continuação correta; há muitas. O softmax lida com isso espalhando probabilidade, e a amostragem escolhe uma. Funciona para texto porque o conjunto é finito e enumerável. Quando o Y é contínuo — um quadro de vídeo, um estado do mundo — espalhar probabilidade sobre todas as saídas possíveis deixa de ser viável.
A saída que LeCun defende há cerca de vinte anos são os modelos baseados em energia: em vez de uma distribuição normalizada sobre saídas, uma função que atribui energia baixa aos pares compatíveis e alta aos incompatíveis. E ele liga isso diretamente ao raciocínio: raciocinar e planejar, para ele, procedem por minimização de energia, e não por propagação para a frente — e, para isso funcionar, é preciso um modelo de mundo.
Essa frase é a chave do que vem depois. Todo o GPT-2 que você montou é propagação para a frente: entra token, sai token, uma passada. Não há nenhum ponto do laboratório em que o modelo compare duas continuações possíveis antes de emitir.
LeCun descreve o ciclo que falta: você alimenta um modelo de mundo interno com uma proposta de sequência de ações; o modelo prevê o resultado dessa sequência; e esse resultado vai para um objetivo que mede o quanto a tarefa foi cumprida. A escolha sai dessa comparação.
E ele insiste que isso precisa ser hierárquico. O exemplo que usa é doméstico: não há como planejar uma viagem inteira a Paris em termos de contrações musculares de dez em dez milissegundos. Estando em Nova York, ir ao aeroporto se decompõe em descer à rua, chamar um táxi, e assim por diante. Planejamento acontece em níveis de abstração.
Confronte com o que você mediu no capítulo 08. A perplexidade avalia a qualidade da previsão do próximo token, um por vez. É uma métrica honesta para o que o modelo faz — e por isso mesmo ela não tem como enxergar planejamento. Um modelo que imagina três continuações e escolhe a melhor não ganha nada em perplexidade por isso. A régua do curso inteiro é cega para a capacidade que LeCun diz estar faltando.
Nada do que o curso mediu fica errado. O que muda é a leitura.
| O que o curso mostrou | O que o argumento acrescenta |
|---|---|
| Tokenização é uma escolha de compressão (cap. 01) | é também a imposição de um dicionário finito ao mundo |
| O softmax dá uma distribuição sobre o vocabulário (cap. 07) | só é possível porque o vocabulário é enumerável |
| Escala compra perplexidade (cap. 06) | compra fluência, não senso comum físico |
| Perplexidade é o número honesto (cap. 08) | é honesto sobre previsão, e cego sobre planejamento |
| Uma linha separa encoder de decoder (cap. 04, 11) | as duas preveem símbolos; a alternativa prevê representações |
O curso continua valendo inteiro como descrição de como um LLM funciona por dentro. O que ele não tenta fazer é decidir qual é a forma certa de construir inteligência — essa pergunta continua aberta, e é justamente o que o experimento seguinte investiga.
Aqui o fecho deste curso vira o começo do outro, e convém ser transparente sobre os resultados.
O experimento Antevisão leva essas ideias para um terreno que a palestra não cobre: o texto, com medição. O que ele constrói é um ELLM — um modelo de linguagem que prevê no espaço latente e decide por energia. Cada ideia vira uma rodada de treino contra o mesmo controle, com os mesmos dados, os mesmos passos e a mesma semente. Até aqui são 43 rodadas medidas e 39 duelos completos. Dessas, 3 melhoraram o gerador e 33 custaram — a maioria das ideias, implementada do jeito que implementamos, piorou o modelo.
Esses números não são um julgamento sobre as ideias de LeCun. Diz apenas que a distância entre um argumento correto sobre a forma do problema e um ganho medido em texto é grande, e que ela se atravessa rodada a rodada, publicando o que falha com o mesmo destaque do que funciona.
As fontes das ideias lidas neste capítulo. Os números citados, como a conta dos 1014 bytes, são de Yann LeCun e estão na palestra.
Os termos técnicos têm aqui o sentido de aprendizado de máquina. O glossário do curso mostra esse sentido ao lado dos outros que as mesmas palavras têm na TI.
O curso termina aqui, com gratidão ao modelo que ensinou tudo isso. O experimento seguinte parte dele, em público.