Meta AI нашла скрытую 3D-систему координат внутри GPT-4V-моделей

Meta AI выпустила S-Space — метод, извлекающий 3D-координаты (x, y, глубина) из активаций замороженных мультимодальных моделей без дополнительного обучения. Адаптер на 0,3% параметров даёт +12% на SpaCE-10 и снижает ошибку оценки расстояния на 18%.

• S-Space извлекает 3D-координаты из активаций GPT-4V-подобных моделей без пространственного обучения
• Адаптер добавляет 0,3% параметров и 2 мс задержки на изображение
• На SpaCE-10 точность пространственных выводов выросла с 71,4% до 83,6%
• Ошибка оценки расстояния снизилась с 9,8 до 8,0 см