Guia do
laboratório

1 Comece por aqui

# abra o PowerShell na raiz do repositório e rode, em ordem:

.venv\Scripts\python.exe lab\01_tokenizer.py
.venv\Scripts\python.exe lab\02_embeddings.py
.venv\Scripts\python.exe lab\03_attention.py
.venv\Scripts\python.exe lab\04_multihead_mask.py
.venv\Scripts\python.exe lab\05_block.py
.venv\Scripts\python.exe lab\06_scale.py
.venv\Scripts\python.exe lab\07_decoding.py
.venv\Scripts\python.exe lab\08_perplexity.py
.venv\Scripts\python.exe lab\09_detector.py
.venv\Scripts\python.exe lab\10_original_code.py

# o lab 11 precisa do servidor. Em OUTRO terminal:
.venv\Scripts\python.exe server\app.py
# e então:
.venv\Scripts\python.exe lab\11_api.py

Os labs 06 e 08 carregam o gpt2-xl (6 GB de RAM, ~3 min). Se estiver com pressa ou memória curta, acrescente rapido:

.venv\Scripts\python.exe lab\06_scale.py rapido

2 Índice: apostila → laboratório

3 Estrutura dos arquivos

GPT-2\
├── .venv\                      Python 3.14 + torch 2.14 (CPU) + transformers 5
├── models\hf\                  os 7 modelos, 13,2 GB em safetensors
├── repos\
│   ├── gpt-2\                  codigo original TensorFlow (para LER)
│   ├── GPT-3-Encoder\          tokenizador em JS + vocab.bpe + encoder.json
│   └── gpt-3\                  amostras do 175B e estatisticas do corpus
├── lab\
│   ├── common.py                modulo compartilhado — carrega e configura tudo
│   └── 01..11_*.py             os experimentos
├── server\app.py             API compativel com TGI e TEI
├── tools\
│   ├── style.css               tipografia das apostilas
│   ├── generate_pdfs.py           HTML -> PDF (Chrome headless + numeracao)
│   ├── download_models.py       download dos modelos
│   └── verify.py            teste de fumaca dos 7 modelos
├── src\conceitos_gpt-1-gpt-2\  fonte HTML das 16 apostilas (eng\ = inglês)
├── src\conceitos_antevisao\    a teoria do ELLM (experimento Antevisão)
├── pdfs\gpt-1-gpt-2\          << as apostilas prontas; pdfs\antevisao\ as do projeto
└── out\                        saidas dos experimentos

Comandos de manutenção

# conferir que os 7 modelos carregam
.venv\Scripts\python.exe tools\verify.py

# regerar todos os PDFs depois de editar um HTML
.venv\Scripts\python.exe tools\generate_pdfs.py

# regerar só um
.venv\Scripts\python.exe tools\generate_pdfs.py 07

4 Os apelidos dos modelos

Todos os scripts usam apelidos curtos, definidos em lab/common.py:

# para escrever seus proprios experimentos
import common
tok, mod      = common.carregar_gerador("gpt2-medium")
tok, mod, rot = comum.carregar_detector("det-base")
tok, mod      = comum.carregar_base("gpt2", atencoes=True)

O common.py aponta o cache para models\hf, liga o modo offline (nada vai à rede), força UTF-8 no console do Windows, desliga gradientes e corrige os rótulos ausentes do det-large.

5 Tudo o que foi medido nesta máquina

6 Problemas comuns

7 Para onde ir depois

Você terminou. Quatro caminhos naturais, em ordem de esforço:

1. Fine-tune o seu próprio classificador. Você viu que 99,5% do detector é RoBERTa reaproveitado. Pegue um roberta-base puro, um conjunto de dados rotulados seu, e repita o processo da apostila 12. É a habilidade prática mais rentável deste curso.
2. Implemente o GPT-2 do zero em PyTorch e carregue os pesos oficiais nele. Se a saída bater com a do transformers, você entendeu de verdade. O nanoGPT, de Andrej Karpathy, é uma boa referência para esse passo — e agora você consegue lê-lo inteiro.
3. Compare com um modelo moderno. Você já tem o qwen3:4b e o qwen3:8b instalados. Rode os mesmos testes de perplexidade e decodificação neles e veja o que sete anos mudaram — e o que não mudou (a arquitetura ainda é a mesma).
4. Monte um RAG de verdade. O lab 11 mostrou por que o detector não serve para embeddings. Baixe um modelo treinado para isso (BAAI/bge-small-en, intfloat/e5-small) e refaça a seção 4 — dessa vez funcionando.

Fim do curso. Os scripts continuam aí — mude os prompts, quebre coisas, meça de novo.
Foi assim que cada número destas apostilas apareceu.