The tokenization learning with Tolstoy writing
So, pensando aqui sobre como aprender de um jeito interessante. Karpathy considered um texto de um blog post que ele gostou para explicar o algoritmo, para ensinar sobre byte pair encoding.
Pensei então em considerar um texto de Tolstói para que o estudo seja considerando algo meaningful e que tem great intelligence in terms of the writing. Karpathy, primeiro passo, converte o texto em string para bytes e, depois, para melhor trabalhar com os dados, converte para integers.
Really great learning.