NoteBank: переигрывание сохранённых фрагментов вернуло моделям с линейным вниманием память на 1 млн токенов

KAUST предложила NoteBank — надстройку без обучения для моделей с линейным вниманием (Gated DeltaNet, Mamba-2), которая хранит несколько текстовых фрагментов и переигрывает их при запросе. На задачах RULER при 1 млн токенов точность GDN выросла с 1,7% до 70,3%, а хранилище занимает около 1/2600 KV-кэша.

• Точность GDN на шести задачах RULER при 1 млн токенов выросла с 1,7% до 70,3%
• Хранилище — 74,5 MiB против 192 GiB KV-кэша при равной ширине, глубине и точности
• Дополнительные вычисления — не более 0,025% аналитических FLOPs
• Улучшения также на LongBench v1/v2 и MemoryAgentBench на моделях от 1,3B до 9B