Четыре локальные LLM до 748B параметров протестировали на одной RTX 5090

Автор прогнал Qwen3.8-Flash-Next (125B), Ornith-1.5-122B, GLM-5.3-Flash (321B) и DeepSeek-V4.1-Flash (748B) на ПК с RTX 5090, 128 ГБ ОЗУ и Ryzen 9 9950X3D. Qwen на рантайме Strata выдал 80,2 ток/с и префилл 4 075 ток/с на промпте ~31K, DeepSeek на Project Maya — 21,8 ток/с и 622 ток/с. Все модели нашли «иголку» в контексте до ~125K токенов.

• Qwen3.8-Flash-Next на Strata: 80,2 ток/с, префилл 4 075 ток/с при ~31K токенов
• DeepSeek-V4.1-Flash на Maya: 21,8 ток/с, префилл 622 ток/с, первый токен за 3,07 с
• GLM-5.3-Flash набрал 105 из 108 баллов в тестах, Ornith — 89 из 108
• Все четыре MoE-модели уместились в 32 ГБ VRAM с выгрузкой экспертов в ОЗУ