Мультимодальные индексы позволяют восстановить исходные изображения

Исследование показало, что плотные многовекторные индексы визуальных документов можно обратить и восстановить исходные страницы. На бенчмарке ViDoRe v3 реконструкция возвращает 47% слов и в 98,4% случаев ставит исходный документ на первое место. Токен-пулинг и перемешивание снижают утечку до ~8% слов, но перемешивание обходится моделью-восстановителем.

• Инверсия индекса восстанавливает 47% слов страницы
• Исходный документ на первом месте в 98,4% запросов
• Токен-пулинг и перемешивание снижают recall до ~8%
• Восстановление порядка поднимает долю первых мест с 3,8% до 93,5%