Бенчмарк LiteLLM Rust Gateway: 0,7 мс p99 против 257,7 мс у Python-прокси

Опубликованы результаты тестов бета-версии LiteLLM Rust Gateway: в standalone-режиме добавленная задержка на p99 составила около 0,7 мс при пиковой памяти 21,8 МБ и 2814 запросах в секунду против 257,7 мс и 329,5 МБ у Python-прокси v1. Тест проводился на локальном моке с отключёнными логированием, персистентностью и учётом расходов, поэтому это не полноценное сравнение функций.

• Rust-путь: 0,7 мс p99, 21,8 МБ памяти, 2814 запросов в секунду
• Python-прокси v1: 257,7 мс p99 и 329,5 МБ пиковой памяти
• Тест отключил логирование, персистентность и учёт расходов
• Есть гибридный режим: Python отвечает за HTTP и маршрутизацию, Rust — за пересылку