The Transformer block implementation in PyTorch

16 Sep, 2026

So, que especial. Prossegui com os estudos do Transformer. A implementação do MLP. Foi mais simples já implementar o forward pass com o aprendizado dos mecanismos do PyTorch. And really great to learn.

Concluído então o MLP, the next exercise foi a implementação do Transformer block. Really great to understand with implementation the steps regarding this block that is so important. Interesting.

Really great learning.