tehno24.ru
← Софт
Софт21 октября 2026, 05:41

llama-server помечает обрезанные ответы и вызовы инструментов как завершённые

В сборке llama.cpp b11753 эндпоинт /v1/responses сервера llama-server возвращает status «completed» и incomplete_details: null даже когда ответ оборван лимитом max_output_tokens. Обрезанный вызов инструмента приходит с невалидным JSON в аргументах, но тоже помечен завершённым; /v1/chat/completions при этом корректно отдаёт finish_reason: «length». Исправления в upstream пока нет.

llama-server помечает обрезанные ответы и вызовы инструментов как завершённые
#Llama.cpp
Читать дальше
Софт

В llama-server кэш промптов переиспользует KV, посчитанный при другом масштабе LoRA

Софт

В llama-server logprobs становятся заглушками при спекулятивном декодировании

Софт

В llama-server нашли гонку: запрос перед засыпанием зависает или роняет сервер

Компании

Тест 100 продавцов x402: 87% платных вызовов дали реальный ответ, но покупателей почти нет