Ollama 0.40: четыре новых метрики в API и где им нельзя верить

Ollama обновилась с 0.33 до 0.40 за шесть недель. В API появились блок timings с частотой префилла, вероятностные decision-модели (nimble, tev1, clef), поле runner с указанием движка (mlx или llamacpp) и эмбеддинги изображений по ~258 токенов на картинку.

• Блок timings завышает скорость префилла в число раз, равное доле кэша: 3875 против реальных 125 ток/с
• Decision-модели возвращают вероятности по вариантам, лимиты — от 2 до 26 кандидатов и до 64 вопросов
• Поле runner показывает движок модели: mlx или llamacpp, одна и та же модель может идти на разных
• Эмбеддинг изображения стоит ~258 токенов и работает только на MLX, то есть на Apple Silicon