tehno24.ru
← Софт
Софт6 октября 2026, 10:37

В llama-server logprobs становятся заглушками при спекулятивном декодировании

При включённом спекулятивном декодировании (draft-модель, MTP или n-gram) llama-server возвращает для всех токенов после первого logprob 0.0 и пустой top_logprobs. Средний logprob 64-токенных сэмплов при temperature 1 падает с -0.48 до -0.0011, при этом текст выглядит нормально. Проблема воспроизводится в релизе b11430 и более ранних сборках.

В llama-server logprobs становятся заглушками при спекулятивном декодировании
#Llama.cpp
Читать дальше
Софт

В llama-server нашли гонку: запрос перед засыпанием зависает или роняет сервер

ИИ

AgSpec ускорил спекулятивное декодирование в кодинг-агентах

Безопасность

Домен-заглушка third-party.com атакует через ClickFix

Компании

Гонка за ИИ-талантами между США и Китаем становится новым фронтом