Тест vLLM Semantic Router Decision 3.0 на локальном железе

Открытая модель Decision 3.0 от проекта vLLM Semantic Router не генерирует текст, а за один forward pass выдаёт вероятности Choice, Yes/No и Score. В тесте на одной видеокарте с 24 ГБ VRAM 9B-версия в BF16 заняла 15,64 ГБ и отвечала за 239,5 мс, а 27B в 4-битном NF4 — 14,33 ГБ и 808,6 мс.

• 9B d3-flash в BF16: 15,64 ГБ VRAM, 239,5 мс на три текстовых вопроса
• 27B в 4-битном NF4: 14,33 ГБ VRAM, 808,6 мс, холодный старт 15,49 с
• На рентгене с пневмотораксом 27B дал STAT с вероятностью 98,79% против 88,46% у 9B
• Рекомендация: 9B для быстрой фильтрации, 27B для рискованных решений