DDN Infinia подключена к неоклауду Nebul для кэширования KV

Нидерландский неоклауд Nebul начал использовать объектную ОС DDN Infinia для кэширования KV при инференсе. По замерам на восьми GPU время до первого токена ускорилось почти в 10 раз, стоимость на миллион входных токенов снизилась почти на 60%. Infinia дополняет NetApp ONTAP и VAST Data в хранилищном стеке Nebul.

• Время до первого токена ускорилось почти в 10 раз на тех же восьми GPU
• Скорость ответа выросла до 5 раз, входных токенов в секунду — в 2,5 раза
• Стоимость миллиона входных токенов снизилась почти на 60%
• Nebul также использует NetApp ONTAP и VAST Data