Self-attention in my son learning
So, a pergunta que realizei inicial foi a seguinte. Quando meu filho aprendeu a sílaba pa, qual era o vocabulário dele? O vocabulário era apenas 2? Composto pelo caractere p e caractere a? Certainly not. Ele começou com a ação de falar pa quando tinha uns 4 meses. Acordava de manhã cedinho e fica balbuciando pa repetidamente em um longo espaço de tempo. Tão especial.
Pensando no vocabulário, era dos sons que ele tinha escutado ao longo desses 4 meses, ao menos. E ocorreu-me a pergunta. Como seria a melhor representação? Ele conhecia apenas os sons e não os caracteres.
That is great. So, temos duas sílabas iniciais, that was the first inference in some sense.
Qual o algoritmo de aprendizado? It was a Transformer-like learning? Distinct already in the representation sense. It was sounds, not characters.
So, great, progressing. Temos então um vocabulário rico de 4 meses com sounds e como treino apenas a sílaba pa. Great.
Really great learning.