vLLM 0.32.1rc0 получила HTTP-передачу весов без диска

В vLLM v0.32.1rc0 появился HTTP Weight-Transfer Protocol: тренер передаёт обновлённые веса напрямую в VRAM инференс-воркеров по HTTP, минуя чекпоинты на NFS, Ceph или Lustre. Это устраняет насыщение дискового ввода-вывода и простой GPU при онлайн-RL, когда утилизация кластера падала ниже 40%.

• Веса передаются потоком по HTTP в эндпоинт /update_weights без записи на диск
• Раньше чекпоинты 14B–70B каждую итерацию насыщали сетевое хранилище
• Простой rollout-GPU снижал утилизацию кластера ниже 40%
• Рекомендуются mTLS и потоковая передача слоями по частям