Mercor: ИИ-бенчмарки покрывают лишь 208 из 923 профессий США

Mercor опубликовала Benchmark Map: из 923 профессий США только 208 имеют хотя бы одну задачу, покрытую пятью и более промптами ИИ-бенчмарков. На эти задачи приходится менее 10% оплачиваемых рабочих часов страны; шесть из 22 отраслевых семейств, включая здравоохранение и образование, не покрыты вовсе.

• 208 из 923 профессий США имеют задачи с 5+ промптами бенчмарков
• 90% оплачиваемых рабочих часов США — вне покрытия ИИ-тестов
• 29 бенчмарков сопоставлены с 18 797 задачами O*NET
• 6 из 22 семейств профессий, включая медицину, не покрыты