Haiku 5.5 против 4.5: тест на 100 промптах выявил нестабильность ответов

Разработчик 11 дней прогонял 100 фиксированных вопросов через Claude Haiku 4.5 и 5.5. Haiku 5.5 даёт идентичный ответ лишь в 41–49 случаях из 100 против 95–100 у 4.5, не принимает temperature и top_k, а в трети ответов добавляет блок размышлений.

• Haiku 5.5 повторяет ответ в 41–49 из 100 случаев, 4.5 — в 95–100
• Haiku 5.5 возвращает 400 при temperature ≠ 1 и при top_k
• 33% ответов 5.5 начинаются с блока размышлений, 2,2% упираются в лимит 1024 токена
• Haiku 5.5 в 10 раз дешевле за токен, но тратит больше выходных токенов