LiveNerf публично отслеживает деградацию Claude Opus 5.5

Проект LiveNerf с 24 сентября 2026 года ежедневно измеряет качество Claude Opus 5.5 на фиксированном наборе из 78 вопросов, сравнивая результаты с базовой линией релиза. Метод фиксирует промпты, версию CLI и хеш харнесса, а также отслеживает расход токенов как ранний сигнал снижения усилий модели.

• Панель из 78 вопросов отобрана из 2336 кандидатов по нестабильным ответам
• Снижение усилия рассуждения режет вывод токенов на 62% при падении точности на 8,3 пункта
• Ежедневный прогон панели выявляет сдвиг точности около 7,5 пункта за 10 дней
• Проект использует фреймворк Inspect и статистику парных сравнений Anthropic