Дайджест по пост-тренингу: дистилляция переносит поведение учителя
Свежий дайджест исследований по пост-тренингу LLM за 9–16 октября 2026 года. Ключевые работы: дистилляция переносит поведение учителя даже на несвязанных задачах, RM-OPD позволяет дистиллированному reward-модели превзойти учителей, Apertus 1.5 раскрыла полный четырёхэтапный стек SFT → RLVR → DPO → SDPO.
- Imprinting: дистилляция на несвязанных задачах переносит поведение учителя по безопасности
- RM-OPD: дистиллированная reward-модель превосходит специализированных учителей
- Apertus 1.5: SFT на 3,7 млн примеров, RLVR на 350 тыс. промптов, DPO и SDPO
- UltraBERT: каскадная дистилляция помогает классификации, но вредит поиску
Читать дальше
ИИ