Nvidia раскрыла пайплайн Task-Seeded SDG для обучения Nemotron

Nvidia описала пятиэтапный пайплайн генерации синтетических данных Task-Seeded SDG для моделей Nemotron: около 70 публичных задач и 700 подзадач из lm-eval-harness делятся на знаниевые (39 задач, ~3 млн сэмплов) и рассуждательные (34 задачи, ~1,5 млн). Добавление такого датасета в пост-обучение Nemotron-3 Nano подняло GPQA с 30,8 до 41,9, MMLU-Pro на 1,8, кодинг на 1,9.

• Пайплайн использует ~70 задач и ~700 подзадач из lm-eval-harness
• Знаниевые сиды: 39 задач и около 3 млн сэмплов
• Рассуждательные сиды: 34 задачи и около 1,5 млн сэмплов
• GPQA-Diamond CoT вырос с 34,85 до 45,96 в аблациях