Self-attention as a communication mechanism
So, progressing with the Karpathy lecture regarding self-attention, ele considera como primeira observação que self-attention seria um mecanismo de comunicação.
Ele discute com um grafo na tela dele, e tem um texto explicando que seria na linha de ter nodes, que seriam os tokens, que se comunicam e os pesos da comunicação são de acordo com a importância de um dado para o outro, like, the characters, que são os tokens nesse caso e que eles aprendem a relação entre eles no aprendizado.
Really great learning.