Энтузиаст запустил 35-млрд голосовую модель Drama 3 на RTX 5070 Ti с 16 ГБ

Разработчик Ахмет Казанкая адаптировал TTS-модель Fish Audio Drama 3 (35 млрд параметров, MoE) для турецкого языка на видеокарте с 16 ГБ. Он разделил чтение и генерацию речи, обучил компактный спикер на 32 эксперта из 256 и выгружает веса экспертов с NVMe; на бенчмарке Freya-TR-Eval получено 2,68% WER.

• Модель на 35 млрд параметров требует 41,5 ГБ под веса, но работает на 16 ГБ VRAM
• Спикер обучен на 32 из 256 экспертов на слой за 85 минут на 3800 фразах
• WER 2,68% и CER 0,70% на 495 предложениях Freya-TR-Eval
• С экспертами на диске скорость падает до 0,86 от реального времени на коротких фразах