d-Matrix вдвое снизила задержку генерации токенов на гибридном GPU-XPU инференсе

На саммите OCP в Сан-Хосе d-Matrix показала живой инференс GPT-OSS-20B, где слои attention выполняются на NVIDIA H100, а экспертные FFN-слои — на её XPU Corsair. Время на выходной токен упало с 2,59 до 1,28 мс (на 50,6%) при контексте 1000 токенов.

• Время на токен снизилось с 2,59 до 1,28 мс, на 50,6%
• SRAM в Corsair выдаёт 150 ТБ/с против 3,35 ТБ/с HBM3 у H100
• Одна карта Corsair несёт 4 ГБ SRAM, стойка SquadRack — 256 ГБ
• Метод AFD даёт выигрыш только для MoE-моделей при жёстких SLA