Адаптивные вычисления ускоряют инференс ИИ до 45%

Исследователи описали три метода ускорения инференса без переобучения: ALLOT перераспределяет блочно-разреженное внимание в видеодиффузии, Lafa ускоряет потоковые LLM за счёт блочных черновиков, MemT-1.0-Nano сокращает память для длинных контекстов. Вместе они дают до ~45% снижения задержки.

• ALLOT даёт ускорение 1,90× и прирост PSNR на 3,38 дБ на HunyuanVideo 13B
• Lafa с блоком 4 ускоряет потоковую модель примерно вдвое при большей точности
• MemT-1.0-Nano ускоряет инференс в 1,86× и сжимает хранилище истории 128K в 66 раз
• Выигрыш зависит от плотности разреженности и длины контекста