Redes Neuronales

Investigadores de la startup de IA Goodfire.ai han descubierto que los modelos de lenguaje almacenan la memorización y el razonamiento lógico en vías neuronales separadas. Su artículo en preimpresión, publicado a finales de octubre, muestra que eliminar los circuitos de memorización elimina el 97 por ciento del recuerdo verbatim mientras preserva casi todas las capacidades de razonamiento. Sorprendentemente, las tareas aritméticas dependen de las vías de memorización, lo que explica las dificultades de la IA con las matemáticas.