Barlow Twins → VICReg → JEPA → DINO → SigReg: cinco respostas da visão computacional para um mesmo problema, cada uma implementada no nosso modelo e medida contra o mesmo controle. Duas ajudaram. Três custaram.
Um sistema treinado para prever no espaço latente tem uma solução trivial à disposição: ignorar a entrada e produzir a mesma representação para tudo. Aí a predição é perfeita e inútil. A palestra chama isso de colapso, e o descreve nos termos de energia: a função de energia fica plana, zero em todo lugar — o autoencoder que aprende a identidade, a JEPA que emite constantes. Todo método de auto-supervisão por embedding conjunto é, antes de qualquer coisa, uma resposta a isso.
Há duas famílias de resposta. Contrastiva: gerar pontos fora dos dados e empurrar a energia deles para cima (CLIP é o exemplo grande). Regularizada: limitar o volume de espaço que pode ter energia baixa — se só cabe pouco volume, empurrar os dados para baixo obriga o resto a subir. A palestra prefere a segunda, e a versão dela que se reduz a prática é a maximização de informação: pegue a matriz de representações de um lote (uma linha por amostra, uma coluna por dimensão) e faça as colunas serem diferentes entre si. Métodos que fazem isso são "contrastivos por dimensão" — e são todos os desta apostila. Nunca houve um par negativo neste projeto.
Cada elo da linhagem escolhe o que regularizar e como. O que muda é a estatística que se força: correlação cruzada, variância e covariância, um alvo com stop-gradient, uma distribuição sobre protótipos, ou a gaussianidade inteira. O nosso teste é o mesmo para todos: a peça entra no mini de 7,4 M sobre o controle (cosseno 1,0), mesmos dados congelados, 700 passos, semente 1337, melhor checkpoint. A pergunta não é "qual é o melhor" — é quanto cada propriedade custa, e se alguma sai de graça.
| Elo | O que força | Sobre o quê, aqui | Chave |
|---|---|---|---|
| Cosseno (o controle) | cosseno médio entre pares aleatórios → 0 | a tabela de embedding | --reg-cos |
| Barlow Twins (2021) | matriz de correlação cruzada entre duas vistas → identidade: diagonal 1, fora da diagonal 0 | predição do leme × alvo (as "duas vistas" são o previsto e o real) | --barlow |
| VICReg (2021) | variância de cada dimensão acima de um limiar + covariância entre dimensões → 0 | a tabela de embedding | --vicreg |
| JEPA (2022) | prever a representação do alvo, com o alvo sem gradiente (stop-grad) ou vindo de um professor | o leme profundo: Pred( | --latent --latent-target oculto |
| DINO (2021) | auto-destilação: professor = média móvel exponencial do aluno; alvo = distribuição sobre | o mesmo leme profundo, com professor EMA e 1 024 protótipos | --dino |
| SigReg (LeJEPA, 2025) | a distribuição das representações → gaussiana isotrópica, por muitas projeções 1-D comparadas à gaussiana (Epps-Pulley) | a tabela (--sigreg) ou os estados (--sigreg-z, apostila 05) | --sigreg |
Dois detalhes que a tabela esconde. O SigReg é o único que força a distribuição inteira, e não uma estatística de segunda ordem: por isso ele vê colapso de posto que o cosseno não vê (apostila 03: posto 8 de 256, cosseno acusa +0,003, SigReg acusa 11× o piso). E o DINO é o único com um professor: o alvo não é o próprio estado com stop-gradient, é o estado de uma cópia lenta do modelo — a receita do BYOL, que a palestra descreve como "o encoder da direita usa uma média móvel dos pesos do da esquerda".
| Rodada | validação | vs controle | aniso | decorr | posto | leme |
|---|---|---|---|---|---|---|
sem regularizador (moderno) | 5,2616 | −0,17% | 0,378 | — | 232,4 | — |
cosseno (reg1, controle) | 5,2706 | — | 0,049 | — | 244,8 | — |
SigReg na tabela (sig1) | 5,3503 | +1,51% | 0,054 | 0,068 | 245,0 | — |
VICReg + cosseno (reg1-vic1) | 5,4226 | +2,88% | 0,029 | 0,017 | 253,0 | — |
JEPA: leme profundo, stop-grad (reg1-lat1o) | 5,2233 | −0,90% | 0,052 | 0,061 | 244,6 | 0,716 |
Barlow Twins sobre o leme profundo (reg1-lat1o-bar0.5) | 5,2442 | −0,50% | 0,054 | 0,061 | 244,7 | 0,728 |
DINO: professor EMA sobre o leme profundo (reg1-lat1o-dino1) | 5,3804 | +2,08% | 0,052 | 0,062 | 245,0 | 0,703 |
SigReg + leme profundo (sig1-lat1o) | 5,3856 | +2,18% | 0,059 | 0,070 | 244,8 | 0,719 |
reg1-lat1o) foi acrescentada depois de medir o sig1 — testar a peça mais nova sobre a base mais fraca confundiria as duas.SigReg na tabela não comprou nada. VICReg comprou a melhor geometria e pagou 2,88% por ela. O professor EMA do DINO custou 3 pontos percentuais em relação ao stop-gradient. Nenhum dos três diz que o método é ruim — diz que, neste modelo, neste orçamento e nesta semente, a estatística que eles forçam não é a que faltava. O SigReg tem a sua chance certa na apostila 05: nos estados do modelo de mundo (--sigreg-z), onde o colapso é real e o cosseno na tabela não alcança.
A leitura do §3 desenha a receita do modelo de mundo (apostila 05): manter o cosseno na tabela (barato, resolve o cone), prever o estado seguinte no latente (a única peça que melhorou o gerador), e pôr o anticolapso onde o colapso acontece — nos estados, com SigReg, sem professor EMA. É exatamente a receita do LeWorldModel, chegada por medição e não por citação: a rodada wm1-sz1 a testa, e o controle wm1det (stop-grad, sem SigReg-z) diz se o SigReg nos estados faz o papel que a receita lhe dá.
Cinco remédios para a mesma febre. Quatro atacam o termômetro — fazem a tabela de embedding parecer mais saudável em cada instrumento. Um ataca a causa: obriga o modelo a saber onde vai parar. A tabela do §3 é o que acontece quando se mede o paciente em vez do termômetro.
A apostila 05 pega a única peça que melhorou o gerador e a transforma na que imagina: o modelo de mundo.