LayerNorm, Embed e PosEmbed
So, great perspective. Pensei mesmo nesse título porque indica o que implementei. And that is great, man. Really great action. Pensando aqui no approach, that is great. Estava estudando e me deparei então com esses três exercícios.
O LayerNorm foi simples e ao me deparar com os desafios, entendi melhor sobre o LayerNorm. Really important a questão dos shapes. Para o Embed, foi simples e a simplicidade está em compreender para quê serve. O PosEmbed, na mesma linha, detalhes de implementação e que tem a ver com a configuração da arquitetura. Really special and interesting.
Really great learning.