Tencent показала WeVisOne-VL: детекция, сегментация и OCR за один проход

Лаборатория Tencent представила модель WeVisOne-VL, которая выдаёт рамки, маски и распознанный текст единым потоком токенов. На одной RTX 4090 обработка кадра занимает 48 мс против 152 мс у связки YOLO-v8, SAM и PaddleOCR, память сокращается с 12 до 6 ГБ.

• Задержка 48 мс против 152 мс у трёхмодельного пайплайна на RTX 4090
• Память GPU снижена с 12 до 6 ГБ, FLOPs — на 58%
• 44,2 AP на COCO-Panoptic при отставании от лучших сборок на 0,3%
• Обучение: 1,8 млрд пар изображение-текст, 28 дней на 64 A100