MemFold: мягкая память на 256 векторов удваивает контекст и ускоряет вывод

Исследователи представили MemFold — метод сжатия длинной истории диалога в 256 непрерывных латентных векторов, которые модель читает как обычные токены. Это позволяет работать с 32K–128K токенов истории без роста входного контекста, сохраняя точность на бенчмарках PersonaMem-128K, PrefEval и LongMemEval.

• Память фиксирована на 256 векторах и не зависит от длины истории
• Контекст масштабируется с 32K до 128K токенов без роста входа
• Метод даёт лучшую точность на всех бенчмарках и бэкбонах
• Средняя стоимость вывода ниже полного контекста на трёх бэкбонах