Infinigence открыла APXInf для инференса на Jetson Thor

Infinigence AI с Tsinghua и SJTU выложила в открытый доступ APXInf — движок edge-инференса для embodied-моделей на Jetson и десктопных GPU. На Jetson Thor модель PI 0.5 в FP8 ускорилась с ~278 мс до менее 26 мс (около 38,46 Гц), то есть примерно в 10 раз.

• Задержка PI 0.5 в FP8 на Jetson Thor снижена с ~278 мс до <26 мс
• Поддержка Jetson Orin, Jetson Thor и GeForce RTX 4090
• Rust-рантайм с Python-биндингами, репозиторий RLinf/APXinf-robo
• В планах nvfp4, бэкенды AMD и отечественных чипов