Ollama в OpenAI-совместимом /v1 игнорирует флаг think: false
Разработчики обнаружили, что эндпоинт /v1 в Ollama, совместимый с API OpenAI, молча отбрасывает параметр think: false для моделей семейства Qwen3. Из-за этого модель тратит весь бюджет num_predict на рассуждения и возвращает пустой ответ; обходной путь — нативный /api/chat.
- /v1 отбрасывает think: false, и Qwen3 возвращает пустой контент
- Весь бюджет num_predict уходит на внутренние рассуждения
- Обходной путь — переход на нативный эндпоинт /api/chat
- Переход требует рефакторинга кода и учёта иных лимитов
Читать дальше
Софт