Jaringan Saraf

Peneliti di startup AI Goodfire.ai menemukan bahwa model bahasa menyimpan hafalan dan penalaran logis di jalur saraf yang terpisah. Makalah pracetak mereka, dirilis akhir Oktober, menunjukkan bahwa menghapus sirkuit hafalan menghilangkan 97 persen ingatan verbatim sambil mempertahankan hampir semua kemampuan penalaran. Menariknya, tugas aritmatika bergantung pada jalur hafalan, menjelaskan kesulitan AI dengan matematika.