GroundingPI: локализация объектов для роботов за 5 мс на одной A100

Исследователи представили GroundingPI — модель на 4 млрд параметров, которая превращает локализацию объектов в генерацию визуальных токенов и выдаёт координаты рамок за 5 мс на одной A100. Точность mAP-box 71,4%, успех в задаче pick-place на Franka — 94% при 30 Гц.

• Задержка инференса 5 мс на A100 против 45 мс у Meta-Llama-VLA-7B
• mAP-box 71,4% и mAP-point 78,9% на COCO-Grounding
• Успех pick-place на Franka 94% при 30 Гц, энергия 0,42 Дж на инференс
• В день запуска выложены веса, API, ROS-мост и экспорт в ONNX