O detector: como um modelo de linguagem vira classificador, e por que esse não deve decidir nada
Fine-tuning na prática, o reaproveitamento de 99,5% de um modelo pré-treinado, e os dois modos de falha.
Caiu aqui pelo LinkedIn? Este é o capítulo 12 do curso GPT-1 e GPT-2, desmontados. Dá para ler solto; se quiser o começo, é o capítulo 00.
A OpenAI construiu o caçador com a arquitetura oposta à da caça. E desde 2023 ele é pior que inútil. Quando o GPT-2 saiu, em 2019, houve preocupação real com desinformação em escala. A resposta foi lançar junto um detector: um RoBERTa ajustado para dizer se um texto foi escrito por humano ou gerado pelo GPT-2. Um decoder gera; um encoder julga. É elegante. Contra o GPT-2, funciona muito bem. Contra qualquer coisa de 2023 em diante, ele é confiantemente errado, o que dá a falsa impressão de rigor. Como objeto de estudo, é excelente. Como ferramenta para decidir algo sobre uma pessoa, não deve ser usado nunca.
Os três pontos
- Fine-tuning: uma cabeça de classificação nova sobre o token especial de início, e o modelo inteiro ajustado com poucos dados.
- Ele funciona dentro do seu mundo: texto do GPT-2 de 2019. Fora dele, os dois modos de falha aparecem.
- O veredito é explícito: não use para decidir nada sobre uma pessoa. Use para entender fine-tuning.
Da apostila, o começo
Como se transforma um modelo de linguagem num classificador — e por que essa ferramenta específica não deve ser usada para decidir nada.
Quando a OpenAI lançou o GPT-2, em 2019, houve preocupação real com uso indevido — geração de desinformação em escala. A resposta foi lançar, junto, um detector: um RoBERTa fine-tunado para classificar texto como "escrito por humano" ou "gerado pelo GPT-2".
O gesto é elegante e vale apreciar: a OpenAI construiu o caçador com a arquitetura oposta à da caça. Um decoder gera; um encoder julga. É o fecho natural do curso.
Olhe a proporção. 99,5% do modelo é o RoBERTa pré-treinado, reaproveitado inteiro. A parte específica da tarefa — a que sabe distinguir humano de máquina — é meio por cento.
O que a apostila cobre · 6 seções · 8 min
- O que este modelo é
- Fine-tuning: como se faz
- Ele funciona? Sim — dentro do seu mundo
- Onde ele quebra — e os dois modos de falha
- A resposta ao Exercício 0
- No laboratório
Todos os capítulos do curso · GPT-1 e GPT-2, desmontados
- 00 · Os sete fósseis: por que GPT-1, GPT-2 e RoBERTa são um corte histórico, não uma lista
- Glossário · Glossário do curso: o que token, camada e modelo querem dizer em IA, e no resto da TI
- 01 · Por que o GPT-2 não enxerga letras nem palavras, e o que isso custa em português
- 02 · Embeddings: de um inteiro sem sentido a um vetor que sabe que rei e rainha são parentes
- 03 · Atenção: a única operação que substituiu vinte anos de redes recorrentes
- 04 · Doze cabeças em vez de uma, e a única linha de código que separa o GPT do RoBERTa
- 05 · Por que o GPT-2 precisa de 48 andares para responder, e o que acontece dentro de cada um
- 06 · O que a escala realmente compra: de 124 milhões a 1,5 bilhão, medido
- 07 · Temperature, top-k e top-p: a decisão que muda mais o texto do que trocar de modelo
- 08 · Perplexidade: o único número que diz o que o modelo aprendeu, sem anedotas
- 09 · GPT-1 para GPT-2: mesmo tamanho, metade da perplexidade. Quatro decisões explicam
- 10 · RoBERTa: quando o avanço é treinar melhor o que já existia
- 11 · Encoder vs decoder: uma linha de código e todas as consequências que descem dela
- 12 · O detector: como um modelo de linguagem vira classificador, e por que esse não deve decidir nada
- 13 · Lendo o código original do GPT-2: 174 linhas contra tudo o que você aprendeu
- 14 · Servindo modelos: da chamada de função ao servidor HTTP, e o que a produção faz a mais
- 15 · O guia do laboratório: cada comando, cada script, e tudo o que foi medido
- 16 · O teto deste caminho: o argumento de LeCun, lido de dentro do GPT-2
Escreve o curso do GPT-2 e conduz o experimento Antevisão, medindo cada rodada antes de publicar o número. Os posts no LinkedIn começam aqui e terminam nas apostilas.
Seguir no LinkedIn →