Uber автоматизировала анализ зависимостей в сервисной сети

Uber разработала систему автоматического картирования зависимостей между сервисами и классификации распространения сбоев. RPC-мидлварь в YARPC сопоставляет отказы вызывающего и вызываемого сервисов, помечая зависимости как fail-close, fail-open или unknown.

• Зависимости классифицируются по вероятности корреляции отказов: ≥0,8 — fail-close, ≤0,2 — fail-open
• Система проиндексировала большинство fail-close аномалий в сервисной сети Uber
• Распределённый трейсинг отвергли: при сэмплировании 0,01% один сбой ловится около 5,5 часов
• Запросы идут через прокси Muttley, анализ встроен в RPC-фреймворк YARPC для Go и Java