Réseaux de Neurones

Des chercheurs de la startup d’IA Goodfire.ai ont découvert que les modèles de langage stockent la mémorisation et le raisonnement logique dans des voies neuronales séparées. Leur article en prépublication, sorti fin octobre, montre que la suppression des circuits de mémorisation élimine 97 pour cent des rappels verbatim tout en préservant presque toutes les capacités de raisonnement. Étonnamment, les tâches arithmétiques dépendent des voies de mémorisation, expliquant les difficultés de l’IA en mathématiques.