Self-attention and cross-attention
So, quando se fala de attention, tem esses termos que o Karpathy discutiu. Aquela implementação que criou key, query and value para x que possui os tokens seria o self-attention. E tem o termo cross-attention.
O Karpathy explica que o self-attention seria sobre considerar um único source para atender, like, os tokens atendem sobre eles. Para o cross-atttention, a key e o value são oriundos de outro source, alguma outra informação. Apenas query se realiza com x. Ele consulta a partir do que ele busca, que seria a query e procede com chave e valores de outro source.
Really great learning.