В Ollama keep_alive в запросе отменяет выгрузку модели и блокирует очередь
При OLLAMA_MAX_LOADED_MODELS=1 запрос к загруженной модели с параметром keep_alive отменяет запланированную выгрузку, и запрос к другой модели ждёт всё время keep_alive. На Ollama 0.40.8 второй запрос ответил за 9 секунд без keep_alive и не ответил за 150 секунд с keep_alive 30m; выгрузка через keep_alive: 0 освободила очередь за 1,5 секунды. Исправление предложено в PR #19190 и пока не вышло в релиз.
- Без keep_alive второй запрос ответил за 9 с, с keep_alive 30m — не ответил за 150 с
- keep_alive: 0 для загруженной модели освободил ожидающий запрос за 1,5 с
- Ошибок нет: /api/ps показывает здоровую модель, сообщения планировщика только на debug-уровне
- Фикс в PR #19190 не вошёл в v0.40.9-rc1
Читать дальше
Регулирование