TasteVal: ИИ превзошёл экспертов в планировании экспериментов

Бенчмарк TasteVal от P-Zero Research показал, что Claude Opus 5.5 достигает уровня экспертов в дизайне экспериментов при затратах около 43% их вычислений и примерно 1/30 стоимости попытки. Мультипликатор 2,30 при базовой линии из 24 исследователей OpenAI, Google DeepMind, Nvidia и Microsoft Research.

• Claude Opus 5.5: мультипликатор 2,30 против экспертов, доверительный интервал 1,15–4,37
• С декабря 2025 года способность удваивается каждые ~3 месяца вместо ~14
• Каждый запуск ограничен 40 GPU-часами на одном Nvidia H100
• Бенчмарк не оценивает выбор задачи — только дизайн и интерпретацию