Препринт: год реальной нагрузки на LLM-инференс — 6,12 млрд запросов

Опубликован препринт A Year in LLM Serving (arXiv:2608.13573) с анализом года продакшн-трафика серверлесс-платформы инференса: 6,12 млрд запросов, 314 970 пользователей, 9 174 модели и 875 921 инстанс с апреля 2025 по апрель 2026 года. Авторы обещают открыть трейс.

• 6,12 млрд запросов, 35,8 трлн входных и 2,5 трлн выходных токенов за год
• Число активных моделей в день выросло с менее 100 до более 400 на пике
• Медианная длина ответа упала с нескольких сотен токенов до менее 100
• FIFO и LRU не уступают сложным алгоритмам кэша из-за сильной локальности во времени