Тест: Claude Haiku 5.5 чинит баги не хуже Opus 5.5 при экономии 95%
Независимое исследование TokenSave на 25 реальных багах из 13 open-source проектов показало: Haiku 5.5 дал 52 чистых фикса из 75 прогонов против 54 у Opus 5.5, но обошёлся примерно на 95% дешевле ($1,41 против $28,53). Opus чаще не ломал соседние тесты на сложных багах, а случаи, не упомянутые в отчёте, не находила ни одна модель.
- Haiku 5.5: 52 чистых фикса из 75 прогонов, Opus 5.5 — 54
- Стоимость 75 прогонов: $1,41 у Haiku против $28,53 у Opus
- На сложных багах Opus ломал другие тесты в 5 прогонах, Haiku — в 10
- Разница Haiku и Opus статистически незначима (p = 0,86)
Читать дальше
ИИ