ISOM-R2 обработала 1,05 млн токенов при 3,24 ГБ видеопамяти

Новая рекуррентная архитектура памяти ISOM-R2 (Isometric State Space / Virtual SVD) обработала контекст из 1 055 402 токенов реального кода на модели Aazhi-Coder-1.5B, удержав пиковое потребление видеопамяти на уровне 3,24 ГБ — в 8,7 раза меньше, чем требует стандартный KV-кэш (28,2 ГиБ). Пропускная способность составила около 8526 токенов/с, точность поиска нужных файлов — 100%.

• Контекст 1 055 402 токена из 181 файла репозитория transformers обработан за 123,78 с
• Пиковая видеопамять 3,24 ГБ против 28,2 ГиБ у стандартного KV-кэша — в 8,7 раза меньше
• Prefill удерживал ровно 2,97 ГБ на всём миллионе токенов, буфер — менее 400 МБ
• Точность поиска 100%: из 516 чанков выбраны только 2 нужных файла без шума