BesselAI представила Fluid Computing: задержка инференса снижена на 60%

Южнокорейский неоклауд-оператор BesselAI представил платформу Fluid Computing, которая подняла KV-cache hit rate модели Solar Pro 4 с 46% до 94% и снизила задержку вывода токена с 35 до 14 мс. Компания планирует нарастить парк с 7000 до 200 000 GPU к 2030 году.

• KV-cache hit rate вырос с 46% до 94%, задержка токена упала с 35 до 14 мс
• Пиковая нагрузка — до 155 млрд токенов в день на инференсе Solar Pro 4
• Парк GPU: 7000 сейчас, 10 000 к концу 2026, 50 000 к 2027, 200 000 к 2030
• Предиктивная диагностика ловит более 80% отказов GPU до сбоя