NCM от Stanford и Together AI генерирует текст в 10–31 раз быстрее диффузионных моделей

Stanford Hazy Research и Together AI представили метод Next-Concept Modeling: текст строится иерархически, от общей структуры к деталям, а уровни предсказываются параллельно, а не по токену. В тестах генерация оказалась в 10–31 раз быстрее сильных диффузионных языковых моделей при в 4–5 раз меньшем числе обучающих токенов, но крупнейшая модель — лишь 725 млн параметров.

• Генерация в 10–31 раз быстрее диффузионных языковых моделей в тестах авторов
• Обучение требует в 4–5 раз меньше токенов, включая обучение токенизатора
• Крупнейшая протестированная модель — 725 млн параметров, хостинга API нет
• Число последовательных шагов зависит от числа уровней, а не от длины текста