Astera Labs представила контроллеры Leo для кэша KV в ИИ-инференсе

Astera Labs расширила линейку контроллеров памяти Leo тремя продуктами для ускорения работы с кэшем KV при агентном ИИ. Решение адресует проблему нехватки памяти HBM на ускорителях, когда инференс переходит от одиночных запросов к непрерывным циклам ИИ-агентов.

• Линейка Leo пополнилась тремя новыми продуктами
• Проблема: кэш KV превышает объём HBM на ускорителе
• Цель — ускорить агентный ИИ с непрерывными циклами