Glossário do curso: o que token, camada e modelo querem dizer em IA, e no resto da TI
36 termos que a IA pegou emprestados da computação, cada um com o sentido usado no curso, os sentidos que já tinha em outras áreas e onde aparece.
Caiu aqui pelo LinkedIn? Esta é a página de consulta Glossário do curso GPT-1 e GPT-2, desmontados. Dá para ler solto; se quiser o começo, é o capítulo 00.
"Token" já tinha outros donos antes da IA: o compilador, o login e o blockchain. Um leitor apontou uma falha no curso: eu usava token, camada, modelo e máscara como se a inteligência artificial fosse dona dessas palavras. Não é. Token é a unidade que um compilador separa ao ler código, a credencial que o servidor emite depois do login e o ativo de um contrato de blockchain. Camada é um nível do modelo OSI. Modelo é o modelo de dados de um banco. Quem vem de redes, banco de dados ou segurança lê essas palavras com outro sentido, e tem razão. Então o curso ganhou um glossário: 36 termos, cada um com o sentido em IA, os sentidos no resto da TI e os capítulos onde aparece, com as fontes de cada área.
Os três pontos
- Token era a unidade léxica de um compilador, a credencial de um login e o ativo de um contrato de blockchain antes de ser um pedaço de texto num modelo de linguagem. Os quatro sentidos continuam valendo.
- Os casos mais traiçoeiros são os que mudam de sentido sem mudar de área: camada, máscara, cache, época, normalização e kernel querem dizer uma coisa em redes, banco de dados ou sistemas operacionais e outra num Transformer.
- Cada verbete traz os capítulos onde o termo aparece, e as definições seguem a referência de cada disciplina: RFCs, a norma ISO do modelo OSI, Codd para banco de dados e Shannon para entropia.
Da apostila, o começo
As palavras que o curso usa, com o sentido que têm em aprendizado de máquina — e o sentido, muitas vezes bem diferente, que as mesmas palavras já tinham no resto da TI.
A área de modelos de linguagem pegou emprestada boa parte do vocabulário da computação. Token já era a unidade que um compilador separa ao ler o código-fonte, a credencial que um servidor emite depois do login e o ativo registrado num contrato de blockchain. Camada já era um nível do modelo OSI. Modelo já era o modelo de dados de um banco e o "M" do padrão MVC. Nenhum desses sentidos deixou de valer.
O curso usa essas palavras no sentido de aprendizado de máquina, e ele não é o único nem o mais antigo. Quem vem de redes, banco de dados, segurança ou desenvolvimento lê "token", "máscara" ou "cache" com outro significado na cabeça — e tem razão de ler assim. Este glossário existe para que a leitura não dependa de adivinhar qual dos sentidos está em uso.
Neste curso é o sentido usado nas apostilas, em aprendizado de máquina. Em outras áreas da TI são os sentidos mais comuns da mesma palavra fora dessa área, com a disciplina entre parênteses. Capítulos são as apostilas onde o termo aparece. Quando o sentido é o mesmo nas duas colunas, o verbete diz.
O que a apostila cobre · 5 seções · 14 min
- Por que um glossário
- Texto e representação
- Arquitetura do modelo
- Treino e avaliação
- Geração e execução
Todos os capítulos do curso · GPT-1 e GPT-2, desmontados
- 00 · Os sete fósseis: por que GPT-1, GPT-2 e RoBERTa são um corte histórico, não uma lista
- Glossário · Glossário do curso: o que token, camada e modelo querem dizer em IA, e no resto da TI
- 01 · Por que o GPT-2 não enxerga letras nem palavras, e o que isso custa em português
- 02 · Embeddings: de um inteiro sem sentido a um vetor que sabe que rei e rainha são parentes
- 03 · Atenção: a única operação que substituiu vinte anos de redes recorrentes
- 04 · Doze cabeças em vez de uma, e a única linha de código que separa o GPT do RoBERTa
- 05 · Por que o GPT-2 precisa de 48 andares para responder, e o que acontece dentro de cada um
- 06 · O que a escala realmente compra: de 124 milhões a 1,5 bilhão, medido
- 07 · Temperature, top-k e top-p: a decisão que muda mais o texto do que trocar de modelo
- 08 · Perplexidade: o único número que diz o que o modelo aprendeu, sem anedotas
- 09 · GPT-1 para GPT-2: mesmo tamanho, metade da perplexidade. Quatro decisões explicam
- 10 · RoBERTa: quando o avanço é treinar melhor o que já existia
- 11 · Encoder vs decoder: uma linha de código e todas as consequências que descem dela
- 12 · O detector: como um modelo de linguagem vira classificador, e por que esse não deve decidir nada
- 13 · Lendo o código original do GPT-2: 174 linhas contra tudo o que você aprendeu
- 14 · Servindo modelos: da chamada de função ao servidor HTTP, e o que a produção faz a mais
- 15 · O guia do laboratório: cada comando, cada script, e tudo o que foi medido
- 16 · O teto deste caminho: o argumento de LeCun, lido de dentro do GPT-2

Escreve o curso do GPT-2 e conduz o experimento Antevisão, medindo cada rodada antes de publicar o número. Os posts no LinkedIn começam aqui e terminam nas apostilas.
Seguir no LinkedIn →