Anthropic предложила метрики для оценки разработки ИИ в передовых лабораториях

Anthropic опубликовала набор метрик для отслеживания прогресса ИИ в передовых лабораториях: доля НИОКР, выполняемых ИИ, качество надзора за агентами и распределение вычислений. Компания отмечает, что ИИ-системы становятся мощнее и всё больше автоматизируют собственное создание.

• Метрика 1: какая доля ИИ-НИОКР выполняется самими ИИ
• Метрика 2: насколько хорошо контролируются ИИ-агенты
• Метрика 3: как распределяются вычислительные ресурсы
• Anthropic: ИИ всё активнее автоматизирует собственное создание