Баг Ollama: схема JSON игнорируется, если thinking-модель отвечает без размышлений
С версии Ollama 0.34.4 формат-схема применяется к thinking-моделям как единая грамматика, которая не ограничивает ответ, если модель пропустила блок размышлений. На gemma4:e2b все 8 ответов без thinking вернулись как голый текст (391, Paris) с HTTP 200. Открытый фикс ollama/ollama#18783 заставил модель думать перед ответом во всех 16 тестах.
- С 0.34.4 схема и thinking объединены в одну грамматику в llm/llama_server.go
- 8 из 8 ответов без thinking не соответствовали схеме, 16 из 16 с thinking — соответствовали
- При think: false схема применяется с первого токена и всегда даёт верный формат
- Фикс #18783 добавляет открывающий тег: модель теперь думает перед ответом
Читать дальше
Софт