IBM предложила Token Maturation — генерацию токенов через непрерывное уточнение

IBM опубликовала статью о Token Maturation — альтернативе сэмплингу токенов в языковых моделях. Метод использует буфер из K токенов («liquid tail»), которые итеративно уточняются в непрерывном векторном пространстве и дискретизируются по одному, сохраняя авторегрессионность и избегая коллапса энтропии.

• Буфер из K токенов проходит K проходов предсказания до дискретизации в словарь
• Метод не приводит к коллапсу энтропии, в отличие от сэмплинга в латентном пространстве
• Новый параметр guidance scale s управляет близостью к промпту и траекторией
• Длина K задаёт горизонт уточнения токена перед фиксацией