Google Research представила R4T: диффузионный ретривер ускоряет fan-out запросов в 12–20 раз

Google Research представила Retrieve-for-Train (R4T) — метод обучения разбиению одного запроса на подзапросы (query fan-out) через RL с последующей дистилляцией в диффузионную модель на 53,9 млн параметров. Модель генерирует все направления поиска за один проход, ускоряя fan-out в 12–20 раз по сравнению с авторегрессионным подходом.

• R4T-FOLM на Gemma3-4B поднял средний балл OAR на Polyvore с 40,9 до 49,1
• Диффузионный ретривер на 53,9 млн параметров выдаёт все эмбеддинги за один проход
• При батче 1024 авторегрессия занимает ~50 с, диффузия — 4,21 с
• Три награды — groundedness, diversity, alignment — блокируют коллапс парафраз