Локальная LLM на 125 млрд параметров и Minecraft вместе держат 120 FPS на RTX Spark

Энтузиаст запустил на ноутбуке HP OmniBook Ultra 16 с Nvidia RTX Spark (20-ядерный Arm CPU, GPU Blackwell на 6144 ядра, 128 ГБ унифицированной памяти) локальную MoE-модель Qwen 3.8 Flash Next на 125 млрд параметров и одновременно играл в Minecraft. Бот на базе Mindcraft управлял персонажем через чат, а игра держала около 120 FPS. Модель выдавала примерно 46 токенов/с на коротком контексте и чуть меньше 42 на 32 тыс. токенов.

• Модель Qwen 3.8 Flash Next: 125 млрд параметров, около 6 млрд активных на токен
• Скорость инференса: ~46 токенов/с, ~42 токена/с при контексте 32 тыс.
• Minecraft работал на ~120 FPS одновременно с локальной LLM
• Бот Mindcraft на Mineflayer управляется командами в игровом чате