Grafana предложила применять SLO и error-бюджеты к поведению ИИ-агентов

Grafana Labs описала подход, при котором поведение ИИ-агента (галлюцинации, выполнение задачи, токсичность, стоимость) оценивается через evaluations и превращается в SLI с целевым SLO. Пример: 95% диалогов должны быть признаны выполненными за 30 дней, оставшиеся 5% становятся error-бюджетом для экспериментов и контроля деградации качества.

• Поведение агента оценивают через evaluations и превращают в SLI для SLO
• Пример SLO: 95% диалогов выполнены за 30 дней, 5% — error-бюджет
• Отслеживание расхода бюджета выявляет постепенную деградацию качества
• Качество многомерно: обоснованность, токсичность, стоимость и приватность измеряются отдельно