Deep Fusion Memory повысила точность 13-млрд LLM на 12% при +0,7 мс на токен

Исследователи представили архитектуру Deep Fusion Memory, которая встраивает чанковую параметрическую память в веса языковой модели. По данным бенчмарков, 13-млрд модель отвечает на открытые вопросы на 12% точнее, а задержка растёт лишь на 0,7 мс на токен против 30–50 мс у RAG.

• DFM добавляет 0,7 мс на токен против 30–50 мс у RAG
• Точность на открытых вопросах выросла на 12%
• Дообучение памяти требует ~200 GPU-часов вместо ~5000
• Банк на 100 млн чанков занимает +2 ГБ памяти GPU