Pinterest перевела поиск Manas на квантование и SSD-хранение индексов

Pinterest Engineering переработала распределённую поисковую платформу Manas, обслуживающую десятки миллиардов эмбеддингов в 80 кластерах. Квантование SQ и PQ сократило индексы HNSW на 59–74%, а переход на SPANN с хранением постинг-листов на SSD дал втрое больше QPS, чем DiskANN, и сэкономил 20–30% затрат на обслуживание.

• PQ сжал индексы HNSW на 74%, IVF — на 93% при recall 70–80%
• SQ уменьшил HNSW на 59%, IVF — на 75% с recall выше 90%
• SPANN с PQ дал 3x QPS DiskANN при 1/3 задержки и падении recall на 5%
• На 5 млрд эмбеддингов SPANN сэкономил более 40% CPU-времени