Recordação do aprendizado de redes neurais
Pensei aqui, ontem foquei em estar com meu filho. E anteontem. Sempre foco nisso, digo no sentido de separar um tempo para os estudos. Claro, também considero que ao chegar no período desses estudos, meu filho os realizará comigo. Mas também pensei sobre essa prática de estudos com o que ele agora tem de período sensível.
Mas, sobre a questão de não ter formalmente estudado, realizado uma sessão específica e progredido nos estudos sobre redes neurais, pensei na questão do aprendizado que se dá com recordação. Então, muito especial poder escrever aqui, buscando pensar e melhorar o que discuti. E já penso sobre como pode estar a pesquisa na área. Isso está resolvido completely?
Digo sobre a inicialização dos pesos. A inicialização com distribuição gaussiana e a obtenção dos logits na última camada, que podem chegar com números relativamente altos, que realiza para o softmax, uma atribuição grande para dimensões e, como está no início do treino, e os pesos não tem significado para a tarefa, não deveria se ter uma confiança grande em alguma das dimensões da tarefa. A rede apenas começou o aprendizado. E, assim, com isso, se dá que manter números pequenos para o softmax não assign um valor que prepondera mais e que pode estar muito errado em termos da dimensão. Isso ajuda a que o aprendizado não perca tempo corrigindo algo que já seria simples de compreender. Se está no início, deixe que o aprendizado se dê com realmente compreender o que seria o correto, sem nenhuma atribuição a uma dimensão ou dimensões que podem estar erradas. O modelo logo aprende e a perda tem uma queda brusca, porque ele corrigiu, mas se perde certo tempo porque teve que se realizar esse aprendizado que poderia ser desconsiderado. A curva de aprendizado então não fica com a característica de começar com uma perda alta e ter uma queda grande na primeira iteração.
Mas será que essa característica poderia ter alguma utilidade? Como está the state-of-the-art in this realm? Interesting.
Really great learning.