AMD показала генеративную модель для глобального освещения в реальном времени

Исследователи AMD опубликовали работу о замене глобального освещения генерацией изображений: одношаговая диффузионная модель Stable Diffusion 2.1 Turbo получает кадр с прямым светом и достраивает отражённый. Метод выдаёт 0,29 секунды на кадр (около 3,45 fps) при 512×512 на RTX 3090 и требует 8–9 ГБ видеопамяти.

• Модель обучена на 31 000 кадрах интерьеров из Blender Cycles с 1–30 источниками света
• Обучение заняло 50 проходов по датасету на GPU AMD Instinct MI210
• Скорость 0,29 с на кадр при 512×512 на RTX 3090, нужно 8–9 ГБ VRAM
• TVAE с motion-векторами убирает мерцание света между кадрами