Attention as a communication mechanism
So, procedamos com os estudos do Karpathy. Like, tem uma perspectiva importante. Para pesquisarmos sobre mechanistic interpretability, seria paramount to understand Transformers. Seria lá que a pesquisa se dá. O mecanismo de atenção seria algo básico para se entender. O título discute a próxima parte da aula. E precisamos então ter esse compromisso de foco nessa parte.
Teve-se aquela ideia de considerar uma sílaba, it was great, da analogia, do pensar em como o meu filho aprendeu. Great, mas podemos pensar nisso até mesmo melhor se já houver compreensão do self-attention mechanism.
Really great learning.