Sobre a normalização das redes neurais
So, no curso do Karpathy, ele começou a discutir sobre a normalização. Specifically, BatchNormalization. Interesting.
Ele falou que foi uma das inovações modernas que levou à inicialização perder a importância que se tinha.
Just started the part that Karpathy discusses the BatchNormalization. Ele considera o paper. Muito legal.
Really great learning.