A linhagem do colapso: cinco respostas da visão computacional, cada uma medida em texto

Um sistema treinado para prever no latente tem uma solução trivial: ignorar a entrada e devolver sempre o mesmo vetor. Predição perfeita e inútil. LeCun chama isso de colapso, e descreve em termos de energia: a função fica plana, zero em todo lugar. A visão computacional deu cinco respostas em sequência: Barlow Twins, VICReg, JEPA, DINO, SigReg. Implementamos as cinco no nosso modelo de texto e medimos contra o mesmo controle. Duas ajudaram. Três custaram. O VICReg comprou a melhor geometria da tabela e pagou 2,88% de qualidade por ela. Nenhum resultado negativo diz que o método é ruim. Diz que, neste modelo, neste orçamento, a estatística que ele força não é a que faltava.

Os três pontos

1. Duas famílias de resposta: contrastiva (empurrar pontos falsos para cima) e regularizada (limitar o volume de energia baixa). LeCun prefere a segunda; aqui nunca houve par negativo.
2. Cada elo, medido: o que ele força, o que comprou em geometria, o que custou ao gerador.
3. Três resultados negativos ditos com o mesmo destaque. O SigReg não comprou nada na tabela, mas tem a chance certa nos estados do modelo de mundo.

Da apostila, o começo

Barlow Twins → VICReg → JEPA → DINO → SigReg: cinco respostas da visão computacional para um mesmo problema, cada uma implementada no nosso modelo e medida contra o mesmo controle. Duas ajudaram. Três custaram.

Um sistema treinado para prever no espaço latente tem uma solução trivial à disposição: ignorar a entrada e produzir a mesma representação para tudo. Aí a predição é perfeita e inútil. A palestra chama isso de colapso, e o descreve nos termos de energia: a função de energia fica plana, zero em todo lugar — o autoencoder que aprende a identidade, a JEPA que emite constantes. Todo método de auto-supervisão por embedding conjunto é, antes de qualquer coisa, uma resposta a isso.

Há duas famílias de resposta. Contrastiva: gerar pontos fora dos dados e empurrar a energia deles para cima (CLIP é o exemplo grande). Regularizada: limitar o volume de espaço que pode ter energia baixa — se só cabe pouco volume, empurrar os dados para baixo obriga o resto a subir. A palestra prefere a segunda, e a versão dela que se reduz a prática é a maximização de informação: pegue a matriz de representações de um lote (uma linha por amostra, uma coluna por dimensão) e faça as colunas serem diferentes entre si. Métodos que fazem isso são "contrastivos por dimensão" — e são todos os desta apostila. Nunca houve um par negativo neste projeto.

Cada elo da linhagem escolhe o que regularizar e como. O que muda é a estatística que se força: correlação cruzada, variância e covariância, um alvo com stop-gradient, uma distribuição sobre protótipos, ou a gaussianidade inteira. O nosso teste é o mesmo para todos: a peça entra no mini de 7,4 M sobre o controle (cosseno 1,0), mesmos dados congelados, 700 passos, semente 1337, melhor checkpoint. A pergunta não é "qual é o melhor" — é quanto cada propriedade custa, e se alguma sai de graça.