As principais arquiteturas de redes neurais
Pela manhã, estudei uma aula do Geoffrey Hinton. Nessa aula, ele discute sobre as principais arquiteturas.
Primeiro, escreveremos os nomes para já sabermos a resposta das principais redes neurais.
Depois, definiremos cada uma das redes.
Por fim, estabeleceremos o plano para o micrograd 2.0.
Listemo-las.
Feed-forward neural networks.
Recurrent networks.
Symmetrically connected networks. Sem hidden units, são denominadas Hopfield networks. Com hidden units, são denominadas Boltzmann machines.
Definamo-las.
As feed-forward networks são do tipo mais comum. Elas são as que implementamos. Onde uma camada está conectada com a outra de forma completa, ou seja, todos os neurônios de uma camada se conectam com todos os neurônios da camada seguinte. Temos ela implementada no micrograd.
Para o micrograd 2.0 iremos implementar os outros tipos.