Micron и Liqid ускорили инференс LLM в 2,8 раза через общий CXL-пул памяти

Micron построила для лаборатории PNNL кластер Great Abaco, где общий пул DDR5 на 160 ТБ через CXL 2.0 и Liqid используется как расширение KV-кеша для GPU. На Llama3-70B с 90% общих префиксов это дало в 2,8 раза большую пропускную способность и в 2,9 раза быстрее первый токен по сравнению с DRAM того же объёма.

• Один стойка Abaco отдаёт до 160 ТБ DDR5 как общий адресуемый пул
• Llama3-70B: 2,8× пропускная способность и 2,9× быстрее первый токен
• Повторное использование KV-блоков между хостами дало 3× при вдвое меньшей памяти
• CXL-память работала на уровне 99% от локальной DRAM