Mapa do curso
e do laboratório

1 Por que este curso existe

Este curso desmonta o GPT-2 e o RoBERTa — os sete modelos que a organização openai-community publicou no Hugging Face. Eles não são uma lista aleatória: são um corte histórico. Entre 2018 e 2019, a área inteira de processamento de linguagem se dividiu em dois galhos, e esses sete arquivos são exatamente o registro desse momento.

De um lado, o galho decoder: GPT-1 → GPT-2 small → medium → large → XL. É a linhagem que gera texto, uma palavra de cada vez, olhando só para trás. Ela levaria ao GPT-3, ao ChatGPT e a tudo que veio depois.

Do outro lado, o galho encoder: BERT → RoBERTa. É a linhagem que compreende texto, olhando o enunciado inteiro de uma vez, para frente e para trás. Ela continua muito usada em classificação, busca e extração de informação.

E há uma ponte deliciosa entre os dois galhos: os dois modelos roberta-*-openai-detector. Eles são RoBERTas treinados especificamente para detectar texto escrito pelo GPT-2. A própria OpenAI construiu o caçador junto com a caça. Estudar os dois lado a lado não é só conveniente — é a melhor aula possível sobre a diferença entre gerar e compreender.

2 Os sete modelos, em números

Repare em duas coisas que já contam uma história:

• GPT-2 small e RoBERTa base têm praticamente o mesmo tamanho (124 M vs 125 M) e a mesma forma (12 camadas, 768 dimensões, 12 cabeças). Isso não é coincidência: os dois copiaram a configuração "base" do BERT. Eles são gêmeos estruturais que fazem coisas opostas. É o experimento controlado perfeito.
• A família GPT-2 cresce mudando três números: camadas, largura e cabeças. A receita não muda, só a escala. Você vai ver com os próprios olhos, na apostila 06, o que 12× mais parâmetros compram.

3 A trilha, capítulo por capítulo

A ordem importa. Cada apostila usa o vocabulário construído na anterior. Não pule — especialmente da 01 à 05, que são a fundação. Palavras como token, camada e modelo têm aqui o sentido de aprendizado de máquina, que nem sempre é o mesmo do resto da TI; a página de glossário, que vem logo depois deste mapa, mostra os dois lados.

Antes da Parte I — Página de consulta

Parte I — A fundação (como um Transformer funciona)

Parte II — A família GPT (gerar)

Parte III — A família BERT (compreender)

Parte IV — Colocar na sua máquina

Parte V — Onde este caminho para

4 Onde tudo mora na sua máquina

# a raiz do repositório, onde quer que você o clone
├── .venv\                  # Python 3.14 + torch 2.14 (CPU) + transformers 5
├── models\hf\              # os 7 modelos, 13,2 GB em safetensors
├── repos\
│   ├── gpt-2\              # código original da OpenAI, em TensorFlow (para LER)
│   ├── GPT-3-Encoder\      # tokenizador em JS + vocab.bpe + encoder.json
│   └── gpt-3\              # amostras do modelo de 175B e estatísticas
├── lab\                    # << os 11 experimentos para você rodar
├── server\app.py           # << API HTTP compativel com TGI e TEI, e a bancada
├── model\                  # o ELLM do experimento seguinte (Antevisão)
├── tools\                  # download, geração de PDF, verificação
├── src\conceitos_gpt-1-gpt-2\  # fonte HTML de cada apostila (eng\ = versão em inglês)
├── src\conceitos_antevisao\    # a teoria do ELLM, experimento Antevisão
├── pdfs\gpt-1-gpt-2\          # << as 17 apostilas e o glossário (eng\ em inglês)
└── out\                    # saídas dos experimentos

5 O que existe além do que usamos

Você vai encontrar estas ferramentas por aí. Vale saber para que cada uma serve, mesmo sem usá-las aqui.

Note a terceira coluna: só o transformers e o TEI atendem os dois galhos da árvore. É uma assimetria real do ecossistema — as ferramentas populares de "rodar IA local" foram feitas para modelos que geram, e ignoram os que compreendem.

6 Como estudar isto

Cada apostila da 01 em diante tem sempre a mesma estrutura, e ela foi desenhada para você ler com o computador aberto ao lado:

1. Intuição — a ideia em português, sem símbolo nenhum.
2. Analogia — uma imagem mental para segurar a ideia.
3. Matemática — a fórmula, com cada símbolo explicado um por um. Nunca jogo uma equação sem dizer o que é cada letra.
4. Código — a mesma coisa em Python, comentada linha a linha.
5. No laboratório — o script exato para rodar e o que observar na saída.
6. Exercício — uma coisa para você mudar e prever o resultado antes de rodar.

Próxima: a página de glossário, e depois a apostila 01 — Tokenização e BPE.
Comece a 01 mesmo que ache que já sabe: o BPE tem detalhes, como o espaço que vira parte do token, que mudam o comportamento do modelo.