Apoio escrito: um vetor é uma representação aprendida
O vídeo publicado com o título “Se você só pode assistir UM vídeo sobre LLMs, assista esse” apresenta embeddings e self-attention. Um embedding associa um token a uma lista de números aprendidos durante o treinamento. O vetor não é uma definição legível de dicionário: sua utilidade vem dos padrões que o modelo aprende nas relações entre representações.
Abrir diagrama em tamanho original
No início do processamento, tokens recebem representações vetoriais. Como uma sequência também tem ordem, o modelo precisa incorporar informação posicional. A posição importa: “o cachorro perseguiu o gato” não expressa o mesmo evento que “o gato perseguiu o cachorro”.
Self-attention mistura informação da sequência
Em uma camada de atenção, cada posição calcula Query (Q), Key (K) e Value (V) a partir de representações de entrada. Em termos intuitivos, uma Query compara o que a posição procura com as Keys das outras posições; os pesos resultantes combinam os Values. A saída de uma posição passa, assim, a incorporar informação de outras posições relevantes.
As letras são projeções vetoriais aprendidas, não três bancos independentes de conhecimento nem agentes separados. Em modelos autoregressivos, uma máscara impede que o token atual use tokens futuros durante a geração.
O resultado é uma representação contextual: o token “banco” pode assumir estados diferentes em “fui ao banco sacar dinheiro” e “sentei no banco da praça”. Isso não garante uma compreensão humana perfeita; descreve como o estado numérico de cada posição se ajusta ao contexto disponível.
Pergunta de recuperação: qual parte dá informação de ordem à sequência? E qual operação permite que uma posição use informação das demais?
Para aprofundar
- Vaswani et al., Attention Is All You Need, Figuras 1 e 2 — representação posicional, self-attention e atenção multi-cabeça.
- OpenAI: embeddings — vetores densos usados em tarefas como busca por similaridade.
Material complementar da Fernanda
- Demo: Word2Vec versus Self-Attention — Explore o contraste entre representações estáticas e contextuais. O script
transformer_demo.pyusamodel.encode(SENTENCES): ele compara embeddings das frases inteiras, não extrai o estado isolado do token “banco”. Use os resultados como comparação de frases, não como medição direta dos pesos de atenção.
Pratique com /aprender
Copie o comando e cole no chat para iniciar uma prática guiada:
/aprender Quero praticar embeddings, informação posicional e self-attention. Compare as frases “fui ao banco sacar dinheiro” e “sentei no banco da praça”. Peça que eu explique o que é um vetor de embedding e por que o estado contextual de “banco” pode mudar. Faça uma pergunta de cada vez e espere minha tentativa antes de ensinar.