Aiven построила LLM-шлюз на LiteLLM и сократила расходы на токены на 80%

Финский провайдер open-source баз данных Aiven заявил, что внутренний шлюз для LLM на базе LiteLLM снизил расходы на токены примерно на 80%. Шлюз даёт разработчикам доступ к open-weight моделям с бюджетами и управлением доступом, а фронтирные модели используются только для планирования задач. Компания готовит сервис для клиентов.

• Внутренний шлюз на LiteLLM сократил траты на токены примерно на 80%
• Open-weight модели выполняют основную работу, фронтирные — планируют задачи
• Модели запускаются на арендованных GPU и self-hosted
• Сервис предложат клиентам, среди которых Sophos, Avaya и Dojo