Tenstorrent и Smallest.ai запустили локальный голосовой ИИ на серверах Galaxy

Tenstorrent и Smallest.ai представили локальный стек голосового ИИ: модель синтеза речи Lightning V2 работает нативно на серверах Galaxy Blackhole. По данным авторов, стоимость инференса в 4 раза ниже, чем на NVIDIA L40S, при сопоставимом качестве звука.

• Lightning V2 доступна на железе Tenstorrent с оплатой по факту использования
• Сервер Galaxy: 32 ASIC Blackhole, 23 PFLOPS Block FP8, цена $160 000
• Более 95% слоёв модели работают в пониженной точности LoFi
• DNSMOS 3.801 на P150 против 3.872 на L40S — разница в пределах восприятия