First Proof: открытые ИИ-модели отстают от фронтирных на 10 месяцев в математике
Бенчмарк First Proof опубликовал третий набор результатов: фронтирные ИИ решают около 90% неопубликованных исследовательских задач по математике, а лучшая открытая модель не решила ни одной. Разрыв в возможностях оценивается примерно в 10 месяцев против 4 месяцев по общим бенчмаркам Epoch AI. Лидер — система ProofCouncil от ETH Zürich на GPT-6 Astra Pro с архитектурой «автор-критик» и стоимостью $1888 за прогон.
- Фронтирные модели решили около 90% задач, открытая Kimi K3 — 0 из 10
- Отставание открытых моделей — около 10 месяцев против 4 по общим бенчмаркам
- ProofCouncil на GPT-6 Astra Pro стоил $1888 против $36 у базовой модели
- Задачи берутся из неопубликованных лемм математиков и не встречаются в сети
Читать дальше
ИИ