Apoio escrito: mesmo vetor ou estado dependente da frase?
Um embedding estático como o produzido por Word2Vec associa um vetor a cada palavra do vocabulário. Ele aprende regularidades a partir dos contextos em que as palavras aparecem, mas as ocorrências de uma mesma palavra consultam o mesmo vetor de entrada. Isso limita a representação quando uma palavra tem sentidos diferentes.
Abrir diagrama em tamanho original
Considere “fui ao banco sacar dinheiro” e “sentei no banco da praça”. Em um vocabulário estático, a palavra “banco” parte do mesmo vetor nas duas frases. O restante da frase pode oferecer evidência útil ao modelo, mas a representação inicial da palavra não foi escolhida para cada ocorrência.
Em transformers, as camadas de self-attention permitem que a representação de cada posição incorpore informação de outras palavras. Os estados associados a “banco” podem, portanto, ficar diferentes entre as frases. A mudança não vem de consultar uma lista de sentidos escrita à mão; vem do processamento contextual da sequência.
Word2Vec continua sendo um método útil para aprender relações distribucionais e para estudar embeddings. A distinção didática é sobre quando o vetor se contextualiza: Word2Vec fornece uma representação estática por palavra; um transformer calcula estados que evoluem conforme a sequência passa pelas camadas.
Cheque sua compreensão: em qual etapa as duas frases começam iguais na representação de “banco”, e em qual abordagem essa representação passa a incorporar o restante da frase?
Para aprofundar
- Mikolov et al., Efficient Estimation of Word Representations in Vector Space, Figura 1 — os objetivos CBOW e Skip-gram do Word2Vec.
- Peters et al., Deep contextualized word representations — representações que variam por contexto.
- Devlin et al., BERT, Figura 1 — estados contextualizados em um Transformer bidirecional.
Material complementar da Fernanda
-
Código complementar do vídeo: Word2Vec versus Self-Attention — Comece pelo README e leia os dois scripts antes de executar. O Word2Vec consulta uma palavra; o script Transformer compara vetores de frases inteiras. São unidades diferentes, portanto seus cossenos não formam uma comparação controlada do mesmo token. Para medir o estado contextual de “banco”, seria necessário extrair os estados dos tokens correspondentes.
-
Dependências da demonstração — A execução usa Python e um ambiente virtual. O modelo Word2Vec indicado no README tem cerca de 1,3 GB; o Transformer baixa outro modelo na primeira execução. Os resultados exibidos no README são registros da autora, não valores garantidos para toda execução.
Pratique com /aprender
Copie o comando e cole no chat para iniciar uma prática guiada:
/aprender Quero praticar a diferença entre embedding estático e representação contextual. Use “fui ao banco sacar dinheiro” e “sentei no banco da praça”. Peça que eu desenhe ou descreva o processamento nas duas frases e explique o que Word2Vec e self-attention fazem em cada caso. Faça uma pergunta por vez e não mostre a resposta antes da minha tentativa.