Redes Neurais

Pesquisadores da startup de IA Goodfire.ai descobriram que modelos de linguagem armazenam memorização e raciocínio lógico em vias neurais separadas. Seu artigo em preprint, lançado no final de outubro, mostra que remover circuitos de memorização elimina 97 por cento do recall verbatim enquanto preserva quase todas as habilidades de raciocínio. Surpreendentemente, tarefas aritméticas dependem de vias de memorização, explicando as dificuldades da IA com matemática.