Databricks добавила NEAREST BY — векторный поиск прямо в SQL

Databricks Runtime получила оператор NEAREST BY — нативный SQL-join для пакетного векторного поиска top-k без отдельного векторного сервиса. Реализация объединяет fused-оператор Photon, специализированное GEMM-ядро и приближённый индекс в liquid-clustered Delta-таблице; режимы APPROX и EXACT задают способ поиска.

• NEAREST BY ищет до k ближайших строк для каждой строки join по косинусу, L2 или скалярному произведению
• Поиск выполняется внутри аналитического движка Photon, без внешнего векторного эндпоинта
• Индекс хранится в liquid-clustered Delta-таблице, режимы APPROX и EXACT выбирают точность
• Пример Databricks: 100 млн транзакций в день против 140 млн эмбеддингов мерчантов