Anthropic: разработчики с ИИ-ассистентом набрали на 17 пунктов меньше в тесте

В рандомизированном исследовании Anthropic 52 инженера изучали библиотеку Trio: группа с ИИ-ассистентом набрала в среднем 50% в тесте против 67% у писавших код вручную. Разница во времени выполнения задач оказалась незначительной (около 23 и 25 минут), а наибольший разрыв пришёлся на вопросы по отладке.

• Тест: 14 вопросов на 27 баллов по семи концепциям Trio, 26 участников в каждой группе
• Разрыв в 4,15 балла из 27 (d=0,738, p=0,010); по времени p=0,391
• Медианная ошибка за задачу: 3 у писавших вручную против 1 у пользователей ИИ
• Группа «концептуальных вопросов» показала около 65%, делегировавшая код ИИ — около 39%