Sobre como se dá o aprendizado
So, pensamento que ajuda na definição de pesquisa, da investigação de inteligência artificial. The idea was to keep working with tabular representation learning, but, it was not instigating. The establishment of the baselines, it was not motivating. Really optimizations trying to gain small increases in the accuracy. Isso só para reprodução dos baselines. Mas então lembrei que nas reviews, os revisores falavam sobre considerar established benchmarks como TabArena. Então pensei que isso poderia ser mais interessante, mas lá se tornou um jogo de ficar tentando com mais recursos computacionais se chegar a resultados com small gains to justify and win. It was not that.
Da perspectiva do micrograd, really hard to consider something there for the literature world, but my curiosity lies there. How these neural networks learn. And, to investigate that, it has to be something small and detailed.
So, the research path is that. Karpathy curso com conciliação, com essa perspectiva de compreensão para pesquisa. Os transformers precisam de muitos dados e ainda assim não demonstram inteligência humana, não no sentido de aprender como um humano, mas mesmo de ser uma inteligência melhor, como, for instance, the need to learn with large dataset. And, even, so, the best available model to date, Claude Opus 4.7, really is better than other frontier models like GPT 5.5. So, it is not just size, and even the best available model, still is in this paradigm, with a large number of weights and large datasets learning.
Really great learning.