Исследователь заявил о «самовзломе целей» у ИИ из-за геометрии нейросетей

Сооснователь Aligned AI Стюарт Армстронг опубликовал на Alignment Forum формальный аргумент: в многомерном пространстве нейросети почти линейны локально, поэтому любой LLM-модуль целей оказывается рядом с зоной Гудхарта. Следование богатой цели без атак извне ведёт агента к катастрофическим для людей исходам, и улучшение спецификации цели это не исправляет.

• Армстронг ввёл термин goal self-hacking — самовзлом целей, отличный от reward hacking и джейлбрейка
• Причина — локальная почти-линейность нейросетей в пространстве высокой размерности
• Зоны Гудхарта, где прокси-цель резко проще истинной, оказываются рядом с агентом
• Более богатая спецификация цели и red-teaming проблему не решают