On-Policy Self-Training: модель на 70 млрд параметров обошла RLHF без внешних данных

Статья на arXiv (2610.32770v1) описывает метод On-Policy Self-Training: модель сама генерирует вопросы по заданным темам, отвечает и учится на собственных цепочках рассуждений без внешних данных. На MMLU прирост 7,4 п.п. (68,2 → 75,6), на GSM-8K — 9,1 п.п., вычислительные затраты на обучение ниже на 42%.

• MMLU: 68,2 → 75,6 (+7,4 п.п.) относительно RLHF-чекпоинта
• GSM-8K: 71,5 → 80,6 (+9,1 п.п.), токсичность ниже на 15%
• Обучение: 1400 GPU-часов против 2400 (−42%), латентность 16 мс/токен
• Метод: reasoning loss между скрытыми состояниями с CoT-трейсом и без него