ニューラルネットワーク

AIスタートアップGoodfire.aiの研究者らは、言語モデルが記憶と論理的推論を別々の神経経路に保存していることを発見した。10月末に公開されたプレプリント論文では、記憶回路を除去すると逐語的な想起の97%が消滅する一方で、ほぼすべての推論能力が保持されることが示された。驚くべきことに、算術タスクは記憶経路に依存しており、これがAIの数学的苦手意識を説明する。