Apoio escrito: o texto passa por um tokenizador
Para conversar com um modelo, o texto precisa ser convertido para unidades que o modelo reconhece. Um token pode corresponder a uma palavra curta, a parte de uma palavra, pontuação, espaço ou outro fragmento. A divisão depende do tokenizador e do vocabulário usados pelo modelo.
Abrir diagrama em tamanho original
Por exemplo, um nome próprio pouco comum pode ser dividido em vários pedaços, enquanto uma palavra frequente pode ocupar um só token. Por isso, contar palavras não é uma forma precisa de estimar tokens. Idioma, pontuação, código e escolha do modelo também mudam a contagem.
Da entrada à resposta
O tokenizador converte cada fragmento em um ID. O modelo recebe a sequência de IDs e calcula uma distribuição para o próximo token. Depois da escolha de um token, ele é acrescentado ao contexto, e o cálculo se repete até uma condição de parada.
Isso é geração autoregressiva: cada próxima escolha depende do que veio antes. O modelo não escreve a frase inteira de uma vez. A sequência gerada volta a ser decodificada em texto para nós lermos.
Uma conversa costuma incluir mais do que a última mensagem: instruções, mensagens anteriores e, em alguns sistemas, descrições de ferramentas. Tudo isso pode consumir parte da janela de contexto, junto com a resposta que ainda será gerada.
Um jeito simples de investigar
Compare a estimativa de tokens de “modelos de linguagem” em português e “language models” em inglês usando o tokenizador do modelo que você pretende estudar. Não espere uma proporção fixa entre caracteres, palavras e tokens. O resultado descreve aquele tokenizador, não uma regra universal da língua.
Pergunta de recuperação: se dois prompts têm o mesmo número de palavras, por que um pode consumir mais tokens? Pense na segmentação e na frequência dos fragmentos antes de responder.
Para aprofundar
- OpenAI tiktoken: implementação e módulo educacional de BPE — veja como fragmentos são combinados em IDs.
- OpenAI: contagem de tokens — entenda que a estrutura da requisição também ocupa tokens.
Pratique com /aprender
Copie o comando e cole no chat para iniciar uma prática guiada:
/aprender Quero praticar tokenização e janela de contexto. Mostre dois textos curtos, um em português e outro em inglês, e peça que eu explique por que o número de palavras não determina o número de tokens. Faça uma pergunta por vez, peça minha previsão antes da explicação e não trate uma estimativa de tokens como universal.