Superfluid: открытый LLM-сервер для локального мультиагентного инференса

Вышел открытый сервер Superfluid (Apache-2.0) для запуска LLM на своём компьютере с приоритетом интерактивных запросов над агентными. Поддерживает API OpenAI, Anthropic и Ollama, рантаймы llama.cpp, MLX и BaseRT; на Apple M5 Pro ответ чату за 8 агентами выдаётся за 1,5 с против 291 с у llama-server.

• Лицензия Apache-2.0, установка одной командой на macOS (Apple silicon) и Linux
• Поддержка API OpenAI, Anthropic и Ollama, рантаймов llama.cpp, MLX и BaseRT
• TTFT чата при 8 агентах: 1,5 с против 291 с у llama-server на M5 Pro
• Сессии восстанавливаются после падения воркера за 1,8 с, кэш промпта — 97%