Neuralnätverk

Forskare på AI-startupen Goodfire.ai har upptäckt att språkmodeller lagrar memorering och logiskt resonemang i separata neurala vägar. Deras preprint-papper, släppt i slutet av oktober, visar att borttagning av memoreringkretsar eliminerar 97 procent av verbatim-återkallelse samtidigt som nästan alla resonemangsförmågor bevaras. Överraskande nog förlitar sig aritmetiska uppgifter på memoreringvägar, vilket förklarar AI:s matematiska svårigheter.