Ant Group и vLLM открыли код Humming для квантованного инференса LLM

Ant Group и сообщество vLLM выпустили под Apache 2.0 библиотеку JIT-компилируемых GEMM-ядер Humming для квантованного инференса LLM. Она покрывает веса от INT1 до INT8 и от FP4 до FP8, поддерживает dense и MoE GEMM, GPU Nvidia от Turing и ускоритель T-Head Zhenwu 810E. С vLLM 0.29.0 Humming входит в CUDA-сборку как зависимость.

• Поддержка весов INT1–INT8 и FP4–FP8 с активациями FP16, BF16, FP8, FP4, INT8, INT4
• Заявлено ускорение dense W4A16 в 3–4 раза против cuBLAS на малых батчах
• На 8 GPU H20 MoE W4A8 дал рост пропускной способности на 14–43%
• Пакет весит около 100 КБ, зависимости — только PyTorch и NVCC