ИИ-агенты сбоят тихо: исследования объяснили причины

Материал Unite.AI разбирает, почему LLM-агенты редко падают с ошибкой, а вместо этого выдают уверенный неверный ответ при успешных запросах. Приводятся данные: смена формата few-shot промптов меняла точность LLaMA-2-13B до 76 пунктов, а агент на GPT-4o решал 61% задач τ-bench с первой попытки и лишь 25% при восьми подряд.

• Смена форматирования промптов меняла точность LLaMA-2-13B до 76 пунктов
• GPT-4o решал 61% задач τ-bench с первой попытки, 25% — восемь раз подряд
• Анализ 1600+ трасс выявил 14 режимов отказа мультиагентных систем (MAST)
• OpenTelemetry ещё дорабатывает конвенции для спанов генеративного ИИ