AWS Trainium запустила ИИ-генерацию видео в реальном времени без Nvidia

Команда AWS Neuron Science и Reactor показали, что авторегрессивная диффузионная модель Rolling Forcing генерирует видео в реальном времени на ускорителях Trainium без Nvidia. Узкое место в 5 секунд сокращено до 1,8 мс, операция с памятью уложилась в 11 ГБ.

• Модель Rolling Forcing выдаёт кадры на Trainium без железа Nvidia
• Задержка узкого места снижена с 5 секунд до 1,8 мс
• Порог интерактивности — минимум 16 кадров в секунду
• Копирование KV-кэша стоило 23 мс на слой до оптимизации