Утечка бенчмарков Gemini 4 Pro: обходит GPT-6 Astra и Claude
На платформе Arena под именем «gemini-3.8-flash» 17 сентября появилась модель, которую разработчики считают неназванным Gemini 4 Pro с кодовым именем Argon. По утечке, она набрала 88% в DeepSWE v1.1, 95,3% в Terminal-bench 2.1 и 86,8% в OSWorld-2.0, обойдя GPT-6 Astra и Claude Fable 5.1. Google тестирование не подтвердила.
- Контекст 10 млн токенов на вход и 256 тыс. на выход, есть память между сессиями
- Цена по утечке: $2,25 за млн входных и $11,25 за млн выходных токенов
- Тестеры сообщают о генерации сайта за 14 минут и игр по одному промпту
- Google не раскрыла варианты, даты и характеристики Gemini 4
Читать дальше
ИИ