В llama-server нашли гонку: запрос перед засыпанием зависает или роняет сервер
Разработчик обнаружил гонку в режиме сна llama-server: запрос, пришедший за десятки миллисекунд до выгрузки модели, зависает в очереди или вызывает SIGSEGV в токенизаторе. На сборке b11368 с Gemma 3 1B зависание воспроизвелось 32 раза из 32, краш — 41 раз из 41.
- Запрос за 46–34 мс до сна зависал 32 раза из 32 без ответа
- Запрос за 34–3 мс до сна ронял сервер с SIGSEGV 41 раз из 41
- С коротким промптом окно гонки не ловится: 0 сбоев из 93
- Отправка 1-токенного запроса перед основным помогла 123 раза из 123
Читать дальше
Софт