The ideation for AHR implementation with nanoGPT for research
So, truly special to have concluded the oitavo vídeo do curso do Karpathy, really interesting and well organized. Agora estou estudando o vídeo de tokenization. Really important. O Karpathy indica que, mesmo ele não gostando muito, seria o que impacta os modelos em alguns aspectos. Interessante que o aprendizado não se dá end-to-end por causa do tokenization. Something to think, man. Really interesting.
So, estou considerando pesquisa. Literature review. Truly special. Algo que o professor Atlas ensinou. Achei um paper interessante e o li. Seria sobre o método AHR publicado no COLM 2026. Consegui compreender a respeito do método, muito por causa do curso do Karpathy. Então, pensei sobre considerar a implementação do paper e this can be great for research.
Really great learning.