The agent researches AI to produce novelty
So, interesting that with the action pensei em uma estratégia. Like, just go to the arxiv page when a paper of interest is read. Like, the skim, de onde parou, mas quando achar os papers, that is great also, not just one specific, but the papers of interest, and just go to skim when the papers of interest are read. Special.
So, estamos considerando um paper. Outra ideia que tive. To read, for sure, flexibility always, but, to read and stop when having an idea and switch to writing and I am writing now in this space that really is intended to think in terms of machine learning research and human learning considering my boy.
O que pensei foi o seguinte. O paper que estou lendo discutiu dois modos de avaliar AI R&D automation e está propondo um terceiro modo, shadow evaluation.
Muito interessante a discussão sobre as limitations dos métodos anteriores e a discussão sobre peer review e as críticas, foi interessante. It can help think also regarding policy. In engineering terms, to transform peer review in an engineering problem. Great.
So, sobre a pesquisa, pensei o seguinte. To, pensei aqui agora melhor ainda. Two perspectives. Talvez o problema que shadow evaluation não consegue resolver e a resolução. Like, shadow evaluation já fornece para o agente uma pergunta central de pesquisa. Um outro modo de avaliar seria pedindo para o agente realizar perguntas centrais de pesquisa e essas perguntas seriam criticadas. To solve that, to consider divide and conquer. Um agente que realize as perguntas centrais de pesquisa e outro agente que conduct the paper production. That is great.
Pensei aqui o seguinte. Se usar os modelos de fronteira, não dá para usar o histórico porque eles consultam Web. Pensei em treinar um modelo para realizar pesquisa. Like, given a state, like NeurIPS 2010 to 2024, an agente can think in novel methods to advance the AI field? Great.
Really great learning.