The models regarding multitask learning
So, Karpathy is advancing with the teaching. Ele considera agora o paper sobre como os modelos de linguagem são multitask unsupervised learners. Interesting. Ele advise a leitura, foco no tokenization, mas interessante como seria o caso de leitura de papers mesmo.
Sobre a leitura de papers, great, considerei um paper na linha de PEFT, que propôs also simples. O nome seria LAARA. Eles, os autores, dizem que o método precisa de menos parâmetros to train and learn.
Really great learning.