A bancada: servir, radiografar e treinar pelo navegador
Uma página sem framework sobre uma API em FastAPI, e as duas medições que decidiram o servidor.
Caiu aqui pelo LinkedIn? Este é o capítulo 08 do experimento Antevisão · Latent Rehearsal. Dá para ler solto; se quiser o começo, é o capítulo 00.
Medimos onde o tempo de uma requisição vai. 93,3% é a geração serial, token a token. Uma página local, sem framework, sem build, sem CDN. Funciona offline. Cinco abas sobre a mesma API: gerar, radiografar, treinar, comparar, medir. Duas medições decidiram como o servidor foi escrito. A primeira é essa: quase todo o tempo é o laço serial de geração, e é por isso que cada token a mais custa tanto. A segunda é sobre cache com orçamento, e sobre o que acontece quando ele não tem.
Os três pontos
- Onde o tempo vai: a geração serial domina. Tokenizar, carregar e responder são ruído ao lado.
- O cache com orçamento: modelos grandes ficam em memória até um limite, e o limite é medido, não chutado.
- A aba Laboratório roda os scripts do projeto com log ao vivo. A aba Modelos lista todo treino com pesos salvos, com curva e métricas.
Da apostila, o começo
Servir, radiografar e treinar pelo navegador — e as duas medições que decidiram como o servidor foi escrito.
O seletor do Playground tem dois grupos: OpenAI (só o gpt2-xl) e Nossos (todos os checkpoints). Os outros quatro modelos da HuggingFace continuam baixados e continuam servindo os labs — só saíram do seletor, para ele não virar uma lista de coisas que ninguém escolhe.
O que a apostila cobre · 6 seções · 6 min
- O que a bancada é
- Onde o tempo de uma requisição vai
- O cache com orçamento
- A aba Laboratório
- A aba Modelos
- A API
Todos os capítulos do experimento · Antevisão · Latent Rehearsal
- 00 · Antevisão: um ELLM, um modelo de linguagem que ensaia no latente antes de falar
- 01 · O tokenizador próprio: por que 16 mil tokens servem melhor a este corpus que 50 mil, e o que a tabela inteira mostra
- 02 · Duas arquiteturas, um arquivo: o duelo justo entre 2019 e o que veio depois
- 03 · A geometria do embedding: o treino começa com um espaço perfeito e o estraga
- 04 · A linhagem do colapso: cinco respostas da visão computacional, cada uma medida em texto
- 05 · O leme e o modelo de mundo: três versões da mesma pergunta, medidas contra a anterior
- 06 · Método e erros: as regras de uma comparação legítima e o catálogo dos nossos enganos
- 07 · Escala e orçamento: quanto custa chegar ao GPT-3, e por que a VRAM quase nunca é o limite
- 08 · A bancada: servir, radiografar e treinar pelo navegador
- 09 · A arquitetura hierárquica: o projeto inteiro alinhado aos quatro padrões do modelo de mundo
- 10 · O que a JEPA é, segundo LeCun: duas falas lidas conceito por conceito, e onde cada um se aplica
- 11 · Memória e horizonte: duas afirmações de LeCun que viraram experimento, e as duas valem para texto
- 12 · Custos aprendidos e modos de inferência: as três buscas e as duas fontes de energia, medidas
- 13 · As correções pelas falas de LeCun: falha, trecho, flag, medida
- 14 · Memória consultada: um banco de estados abstratos lido por atenção
- 15 · O que custa e o que entrega: nós, o GPT-1 e o GPT-2 na única régua que vale entre tokenizadores
- 16 · O mínimo estava fora da lista: o dia em que medi a minha própria busca por energia
- 17 · ELLM: o nome certo para um modelo de linguagem que prevê no latente e decide por energia
- 18 · Procurar melhor não conserta a energia: três buscas, o mesmo texto
- 19 · A inversão que não se repetiu: o custo do modelo de mundo aparece quando a régua para de oscilar
- 20 · O que mudou em 17/09: dois capítulos novos e duas correções
Escreve o curso do GPT-2 e conduz o experimento Antevisão, medindo cada rodada antes de publicar o número. Os posts no LinkedIn começam aqui e terminam nas apostilas.
Seguir no LinkedIn →