LinkedIn перестроила ленту: FollowFeed в 5 раз быстрее на половине серверов

LinkedIn заменила старый поисковый движок Sensei на систему FollowFeed, которую команда разрабатывала 20 месяцев. Новая лента строится в момент запроса, работает в 5 раз быстрее, хранит в 20 раз больше данных и использует вдвое меньше серверов.

• FollowFeed в 5 раз быстрее, хранит в 20 раз больше данных и работает на половине серверов
• Лента не хранится заранее: она собирается при каждом запросе из 720 постоянных партиций
• Данные лежат в RocksDB на SSD, скоринг выполняется на индексных узлах, а не на отдельном сервисе
• Запросы к мобильной ленте укладываются в p99 около 140 мс