GLM-5.3-Flash на 321B запустили локально на одной RTX 5090

Модель GLM-5.3-Flash (321B параметров, ~18B активных на токен) с EXL3-квантованием 3,05 bpw на 125 ГБ запустили локально на RTX 5090 с 128 ГБ RAM через Project Maya. Скорость — около 25 токенов/с при контексте 512K токенов.

• Модель: 321B параметров, ~18B активных на токен, контекст до 1M токенов
• Квант EXL3 3,05 bpw занимает 125 ГБ и не влезает в 128 ГБ RAM целиком
• Project Maya держит экспертов на GPU, в RAM и на NVMe, перекладывая их на ходу
• Скорость около 25 токенов/с при контексте 512K на RTX 5090