Edge0 запускает 35-млрд ИИ-модель прямо с SSD при 2,9 ГБ памяти

Открытый фреймворк Edge0 от The Stack позволяет запускать MoE-модель на 35 млрд параметров, стримя 92,9% весов с накопителя и занимая всего 2,9 ГБ активной памяти. Для работы нужен SSD с пропускной способностью до 4 ГБ/с, а точность модели падает на 3,9 пункта из-за сокращения активных экспертов с восьми до четырёх.

• Активная память сокращена до 2,9 ГБ за счёт стриминга 92,9% весов с накопителя
• Требуется хранилище с пропускной способностью до 4 ГБ/с
• Число активных экспертов на слой снижено с 8 до 4, точность падает на 3,9 пункта
• В планах — одно-битные версии модели и поддержка сложных задач