SenseTime раскрыла архитектуру PD-разделения для агентного инференса

SenseTime SenseCore на саммите CSDI в Шэньчжэне описала разделение Prefill и Decode в гетерогенных кластерах на 10 000 GPU в Линьгане. В тесте с тем же числом флагманских GPU гетерогенное PD-планирование дало примерно пятикратный рост пропускной способности по токенам. Платформа обслуживает около 6 трлн токенов в день, цель — 10 трлн к IV кварталу 2026 года.

• Prefill отдан отечественным ускорителям, Decode — GPU с высокой пропускной способностью памяти
• Обмен состоянием идёт через KV Cache по сетям 800G, 400G и 200G в одном кластере
• Один Decode-узел могут питать 30–50 Prefill-узлов, поэтому держится резерв карт для failover
• Цель — 10 трлн токенов в день к IV кварталу 2026 года против текущих 6 трлн