Тест ScaleDown CDM: классификация, извлечение и суммаризация на дешёвых моделях

Разработчик протестировал Constrained Decoding Models от ScaleDown на публичных данных: классификация CLINC150 дала 97,3% точности против 90,7% у локальной Qwen3 1.7B, извлечение из чеков — 89,5% при 100% валидном JSON. Цена — $0,05 за миллион входных токенов, выход бесплатный; заявленные вендором «467x дешевле» и DecisionBench не подтверждены.

• Классификация CLINC150: 97,3% у ScaleDown против 90,7% у Qwen3 1.7B
• Извлечение из 50 чеков SROIE: 89,5% полей, 100% валидный JSON
• Цена $0,05 за 1 млн входных токенов, выходные токены бесплатны
• Задержка p50 162 мс и p95 397 мс для Decisions