Quando um neurônio tem aprendizado
So, conseguimos identificar quando um neurônio não está com aprendizado? Temos uma imagem interessante que consiste em um grid onde as linhas são exemplos dos dados e cada coluna seria um neurônio. Então cada célula seria um pixel. Consideramos o valores da função de ativação. Se eles estão nos extremos, para o tanh, por exemplo, consideramos a condição booleana sobre o valor absoluto ser 1. Isso indica que ficou nos extremos, com -1 ou 1. Assim, para se obter o gradiente, pela regra da cadeira, zeraria. Para se ter aprendizado, não se pode ter uma dominação completa nos extremos da função.
Sem o valor do gradiente, não se tem aprendizado.
Para ter um aprendizado, pelo menos um exemplo tem que levar o neurônio a não obter um valor extremo da função de ativação, para que o gradiente de aprendizado seja considerado.
Really great learning.