Moonshot: разброс точности вызова инструментов у Kimi K2 достигает 16 п.п.

Moonshot опубликовала в репозитории K2 Vendor Verifier сравнение 15 провайдеров Kimi K2 Thinking на одном наборе из 4000 запросов: schema_accuracy варьируется от 83,05% у Chutes до 100% у MoonshotAI и Fireworks. На версии K2 0905 разброс достигает 28 п.п. — от 100% до 71,96% у Together.

• Kimi K2 Thinking: от 83,05% (Chutes) до 100% (MoonshotAI, Fireworks) при temperature 1.0
• K2 0905: пять провайдеров на 100%, Together — 71,96%, Baseten — 72,49%
• Groq показал 100% schema_accuracy при F1 вызова инструментов 69,52%
• При 87,22% точности на вызов шанс пройти 25 вызовов подряд — 3,3%