Один прогон бенчмарка ИИ-агентов даёт разброс до 6 п.п.

Препринт arXiv 2602.07150 показал: при одинаковой модели, скаффолде и температуре одиночные прогоны SWE-bench Verified расходятся на 2,2–6,0 п.п. Эксперимент охватил 3 модели, 2 скаффолда и 2 температуры по 10 прогонов — 60 тыс. траекторий и 25,58 млрд токенов.

• DeepSWE-preview на nano-agent: среднее 31,4% ± 1,0%, разброс от 28,8% до 32,4%
• Devstral-2 даёт 63,5% на nano-agent и 34,9% на R2E-Gym при той же модели
• Температура 0 не детерминирована: стандартное отклонение до 1,8 п.п.
• Для обнаружения роста на 2 п.п. нужно около 9 прогонов, на 1 п.п. — 36