Исследователь: нейросети интерпретируемы лучше, чем считалось

Исследователь Ник Каммарата из Goodfire заявил, что современные нейросети гораздо более интерпретируемы, чем принято думать: большинство нейронов понятны даже в моделях с триллионами параметров. По его словам, полисемантичность ранних моделей объяснялась не суперпозицией, а несколькими обычными и в основном устранимыми проблемами.

• Большинство нейронов понятны в моделях вплоть до триллионов параметров
• Полисемантичность ранних моделей связана не с суперпозицией
• Причины — несколько обычных и в основном устранимых проблем