Se tem aprendizado nas redes neurais
Quando se treina uma rede neural, precisa-se considerar se o aprendizado está em realização. Quando observa-se a loss caindo, meio que se confirma que não tem nenhum erro e que o modelo está conseguindo aprender com os dados. Mas, interessante que, o aprendizado pode não está se dando como poderia, de um jeito certo e, com o tempo de treino, os neurônios podem ter aprendido pouco. Quando se observa a loss, pode-se chegar na conclusão que houve o aprendizado, que ela foi caindo ao longo do treino e que a loss do treino e a loss do val convergiram para valores baixos para uma dada tarefa. Mas, olhar os neurônios pode dar outra perspectiva e pode-se perceber que o aprendizado poderia ser realizado com o objetivo de ter um melhor resultado na tarefa.
Nisso, observei os desafios. Muito se dá na compreensão, mas acho que não na compreensão dos conceitos das redes neurais, mas o desafio está no acompanhamento da figura da rede neural para quando se está estudando algum conceito.
Por exemplo, em certo momento de investigação de uma rede neural, compreendi o conceito a respeito dos neurônios não terem aprendido tanto ao checar a saturação da função de ativação. Mas nisso, pelo próprio conceito, pensa-se que dado um neurônio, o problema da saturação se deu de modo geral para todo o neurônio por causa da função da ativação. E então se investigando mais e discutindo com um agente, descobre-se que o neurônio não está saturado por causa da função de ativação, descobre-se que o neurônio, para alguns exemplos, pode não ter aprendido do melhor jeito porque, para alguns exemplos dos dados, não teve um sinal de gradiente adequado para se aprender. Assim, se tem um aprendizado certo do conceito. E precisa-se compreender e acompanhar o design da rede neural na investigação.
Really great learning.