Amazon Bedrock AgentCore получил девятиэтапную систему оценки ИИ-агентов

AWS представила в Amazon Bedrock AgentCore фреймворк оценки ИИ-агентов из девяти этапов, охватывающих тестирование до релиза, канареечный запуск и мониторинг в продакшене. Система ловит «тихую деградацию качества» — галлюцинации в параметрах инструментов и пропуск шагов поиска при стабильных latency и доле ошибок. Откат срабатывает при падении любой из четырёх метрик качества более чем на 10% на 100 запросах подряд.

• Девять этапов делятся на три фазы: до релиза, развёртывание и продакшен
• Откат при падении метрики качества более чем на 10% на 100 запросах подряд
• Сравнение ответов идёт по семантической близости, а не по точному совпадению
• Отслеживаются завершение задач, точность вызова инструментов, релевантность и корректность