ByteDance Seed нашла «фазовую чувствительность» в блочном сжатии KV-кэша

Исследователи ByteDance Seed выявили периодическую слабость у моделей, сжимающих KV-кэш фиксированными блоками, как DeepSeek-V4. На задаче поиска иголки в стоге при 128K токенов точность базовых чекпоинтов различалась до 40,2 п.п. в зависимости от фазы цели.

• Точность базовых чекпоинтов различалась до 40,2 п.п. в зависимости от фазы цели
• Тесты шли на DeepSeek-V4-Flash, V4-Pro и V4.1-Flash при 128K токенов
• V4.1-Flash с шагом 2 показал наименьший разрыв, но периодичность осталась
• Авторы советуют оценивать такие модели со сдвигом входа на несколько токенов