Kandinsky 6.0 на 16 ГБ: официальный рецепт не влезает, испанский осилила только 29B-модель
Разработчик протестировал Kandinsky 6.0 (генерация 5-секундного видео со звуком и голосом, лицензия MIT) на арендованной RTX 4080 с 16 ГБ. Официальный рецепт с поочерёдным выгрузом компонентов на CPU упал по памяти: только текстовый энкодер Qwen2.5-VL занимает 15,45 ГиБ. Рабочим оказался двухфазный подход с потоковой загрузкой слоёв энкодера и тайловым VAE — пик 11,24 ГиБ, вертикальный клип около 141 с. В тесте испанской речи порог WER ≤ 0,20 прошла лишь Pro-версия (29B): медианный WER 0,15 против 1,06 у Lite.
- Официальный рецепт с CPU-offload не влез в 16 ГБ даже с Lite-моделью
- Энкодер Qwen2.5-VL занимает 15,45 ГиБ, 8-бит и последовательный offload не помогли
- Двухфазный рецепт: пик 11,24 ГиБ, вертикальный клип ~141 с, до 45,9 ГиБ RAM
- Испанский тест: WER 0,15 у Pro (29B) против 1,06 у Lite (3B)
Читать дальше
ИИ