Тест Mercury 3: диффузионная модель быстра, но не уникальна
Независимый тест Inception Mercury 3 на 48 тыс. вызовов API показал: модель проходит 86% задач на код при медиане 0,83 с, но gpt-oss-120b на Cerebras даёт 84,9% за 0,34 с. В SQL-агенте Mercury 3 решает задачу за 2,06 с против 3,86 с у Claude Haiku 5.5.
- Mercury 3: 86% задач HumanEval+, MBPP+ и LiveCodeBench при 0,83 с
- gpt-oss-120b на Cerebras: 84,9% при 0,34 с — быстрее Mercury
- Скорость генерации Mercury 3 — 850–900 токенов/с против 2400 у Cerebras
- В SQL-агенте Mercury 3 тратит 5,1 хода, Claude Haiku 5.5 — 3,2
Читать дальше
ИИ