PPMem от Университета Цинхуа хранит память ИИ-видео в плоских плоскостях
Коллаборация под руководством Университета Цинхуа представила PPMem — метод сохранения памяти в генеративных видеомоделях. Вместо объёмных 3D-точек система хранит плоские поверхности (стены, полы, мебель) как plane primitives из 7 параметров, что на порядки компактнее и помогает сцене не меняться при повторном возврате камеры.
- Каждый plane primitive задаётся 7 числами: глубина центра, два размера и кватернион поворота
- Подход заменяет миллионы 3D-точек на переиспользуемые плоскости
- При возврате камеры сохранённые плоскости проецируются в кадр и направляют генерацию
- Метод развивает идеи HyDRA от Nvidia, VMEM и SPMem
Читать дальше
Компании