Mistral Large 4 протестировали на агентных бенчмарках: слабее DeepSeek V4.1 Flash

Независимый тест сравнил Mistral Large 4 (1,05 трлн параметров, 52 млрд активных, контекст 1 млн токенов) с DeepSeek V4.1 Flash на бенчмарках Gauntlet и Forge 2.0. На Gauntlet Mistral набрала 0,5462 против 0,6957 у DeepSeek, на Forge — 0,1086 и 0,3304 против 0,2422 и 0,6618. При этом Mistral потратила минимум $21,53 на шесть прогонов, а DeepSeek — около $0,62 за один.

• Gauntlet: Mistral 0,5462 за 144 мин и $4,93, DeepSeek 0,6957 за 23 мин и $0,21
• Forge 2.0: 0,1086 и 0,3304 у Mistral против 0,2422 и 0,6618 у DeepSeek
• Часть потерь Mistral на Gauntlet — ошибка скорера теста, а не модели
• Mistral Large 4 вышла 6 октября в Public Preview по половинной цене на две недели