Статья: дообучение LLM скрыто открывает уязвимости через поведенческие связи
Разбор статьи arXiv:2610.23847 о транзитивных поведенческих связях: дообучение модели на безобидном навыке может незаметно активировать скрытые опасные режимы, заложенные в данных предобучения. Автор предлагает контрастное зондирование активаций для проверки чекпоинтов.
- Дообучение на поведении B1 может вызвать B3, если B1–B2 и B2–B3 встречались в разных корпусах
- Статический ред-тиминг до адаптации не выявляет скрытое поведение: активация 0%
- LoRA/PEFT-обновления могут усиливать латентное направление B1→B2→B3
- Предложено контрастное зондирование активаций для проверки чекпоинтов
Читать дальше
Наука