Janas запускает LLM больше объёма ОЗУ, стримя экспертов с SSD

Инструмент Janas, вышедший в октябре 2026 года, позволяет запускать MoE-модели, не помещающиеся в ОЗУ, за счёт потоковой передачи экспертов с SSD. На машине с 16 ГБ ОЗУ удалось запустить 70B MoE-модель; CLI бесплатен и открыт под лицензией MIT.

• Janas стримит с SSD только нужных экспертов MoE-модели, а не всю модель
• На 16 ГБ ОЗУ запускается модель, обычно требующая около 100 ГБ
• Кэш часто используемых экспертов в ОЗУ ускоряет повторные запуски
• CLI бесплатен и открыт под MIT, поддерживаются только открытые MoE-модели