Открытые веса Mistral Large 4 не делают 1T-модель дешёвой в запуске

Mistral Large 4 содержит 1,05 трлн параметров при 52 млрд активных на токен: 52 млрд определяют вычисления, а 1 трлн — память, так как все эксперты должны постоянно находиться в памяти GPU. В FP8 это около терабайта весов, поэтому первым узлом для запуска автор считает 8x B200 (1440 ГБ) по цене около $53,52 в час.

• Mistral Large 4: 1,05T параметров, 52B активных на токен
• В FP8 веса занимают около 1 ТБ до учёта KV-кэша
• Для запуска нужен узел 8x B200 на 1440 ГБ, около $53,52 в час
• Самостоятельный запуск окупается только при наличии своих GPU-кластеров