Rafhael Oliveira · IA

Glossário do curso: o que token, camada e modelo querem dizer em IA, e no resto da TI

36 termos que a IA pegou emprestados da computação, cada um com o sentido usado no curso, os sentidos que já tinha em outras áreas e onde aparece.

1 min de leitura· apostila: 14 min

Caiu aqui pelo LinkedIn? Esta é a página de consulta Glossário do curso GPT-1 e GPT-2, desmontados. Dá para ler solto; se quiser o começo, é o capítulo 00.

"Token" já tinha outros donos antes da IA: o compilador, o login e o blockchain. Um leitor apontou uma falha no curso: eu usava token, camada, modelo e máscara como se a inteligência artificial fosse dona dessas palavras. Não é. Token é a unidade que um compilador separa ao ler código, a credencial que o servidor emite depois do login e o ativo de um contrato de blockchain. Camada é um nível do modelo OSI. Modelo é o modelo de dados de um banco. Quem vem de redes, banco de dados ou segurança lê essas palavras com outro sentido, e tem razão. Então o curso ganhou um glossário: 36 termos, cada um com o sentido em IA, os sentidos no resto da TI e os capítulos onde aparece, com as fontes de cada área.

Os três pontos

  1. Token era a unidade léxica de um compilador, a credencial de um login e o ativo de um contrato de blockchain antes de ser um pedaço de texto num modelo de linguagem. Os quatro sentidos continuam valendo.
  2. Os casos mais traiçoeiros são os que mudam de sentido sem mudar de área: camada, máscara, cache, época, normalização e kernel querem dizer uma coisa em redes, banco de dados ou sistemas operacionais e outra num Transformer.
  3. Cada verbete traz os capítulos onde o termo aparece, e as definições seguem a referência de cada disciplina: RFCs, a norma ISO do modelo OSI, Codd para banco de dados e Shannon para entropia.

Da apostila, o começo

As palavras que o curso usa, com o sentido que têm em aprendizado de máquina — e o sentido, muitas vezes bem diferente, que as mesmas palavras já tinham no resto da TI.

A área de modelos de linguagem pegou emprestada boa parte do vocabulário da computação. Token já era a unidade que um compilador separa ao ler o código-fonte, a credencial que um servidor emite depois do login e o ativo registrado num contrato de blockchain. Camada já era um nível do modelo OSI. Modelo já era o modelo de dados de um banco e o "M" do padrão MVC. Nenhum desses sentidos deixou de valer.

O curso usa essas palavras no sentido de aprendizado de máquina, e ele não é o único nem o mais antigo. Quem vem de redes, banco de dados, segurança ou desenvolvimento lê "token", "máscara" ou "cache" com outro significado na cabeça — e tem razão de ler assim. Este glossário existe para que a leitura não dependa de adivinhar qual dos sentidos está em uso.

Neste curso é o sentido usado nas apostilas, em aprendizado de máquina. Em outras áreas da TI são os sentidos mais comuns da mesma palavra fora dessa área, com a disciplina entre parênteses. Capítulos são as apostilas onde o termo aparece. Quando o sentido é o mesmo nas duas colunas, o verbete diz.

Abrir o Glossário →Read in EnglishOs PDFs por e-mail →
O que a apostila cobre · 5 seções · 14 min
  1. Por que um glossário
  2. Texto e representação
  3. Arquitetura do modelo
  4. Treino e avaliação
  5. Geração e execução
Todos os capítulos do curso · GPT-1 e GPT-2, desmontados
  1. 00 · Os sete fósseis: por que GPT-1, GPT-2 e RoBERTa são um corte histórico, não uma lista
  2. Glossário · Glossário do curso: o que token, camada e modelo querem dizer em IA, e no resto da TI
  3. 01 · Por que o GPT-2 não enxerga letras nem palavras, e o que isso custa em português
  4. 02 · Embeddings: de um inteiro sem sentido a um vetor que sabe que rei e rainha são parentes
  5. 03 · Atenção: a única operação que substituiu vinte anos de redes recorrentes
  6. 04 · Doze cabeças em vez de uma, e a única linha de código que separa o GPT do RoBERTa
  7. 05 · Por que o GPT-2 precisa de 48 andares para responder, e o que acontece dentro de cada um
  8. 06 · O que a escala realmente compra: de 124 milhões a 1,5 bilhão, medido
  9. 07 · Temperature, top-k e top-p: a decisão que muda mais o texto do que trocar de modelo
  10. 08 · Perplexidade: o único número que diz o que o modelo aprendeu, sem anedotas
  11. 09 · GPT-1 para GPT-2: mesmo tamanho, metade da perplexidade. Quatro decisões explicam
  12. 10 · RoBERTa: quando o avanço é treinar melhor o que já existia
  13. 11 · Encoder vs decoder: uma linha de código e todas as consequências que descem dela
  14. 12 · O detector: como um modelo de linguagem vira classificador, e por que esse não deve decidir nada
  15. 13 · Lendo o código original do GPT-2: 174 linhas contra tudo o que você aprendeu
  16. 14 · Servindo modelos: da chamada de função ao servidor HTTP, e o que a produção faz a mais
  17. 15 · O guia do laboratório: cada comando, cada script, e tudo o que foi medido
  18. 16 · O teto deste caminho: o argumento de LeCun, lido de dentro do GPT-2

Depois disto: o experimento Antevisão

Rafhael Oliveira
Rafhael Oliveira

Escreve o curso do GPT-2 e conduz o experimento Antevisão, medindo cada rodada antes de publicar o número. Os posts no LinkedIn começam aqui e terminam nas apostilas.

Seguir no LinkedIn →