Iterate.ai выпустила Lifeboat — движок инференса с конфиденциальными вычислениями

Iterate.ai представила Lifeboat — движок инференса LLM со встроенными конфиденциальными вычислениями, размещающий в 2–6 раз больше одновременных сессий ИИ-агентов на одном GPU. На Nvidia RTX PRO 6000 Blackwell с моделью Qwen 30B-A3B движок выдержал 2048 сессий против 1024 без оптимизаций. Цена: Standard — $49,99/мес, Confidential Computing — $499,99/мес.

• До 6x больше одновременных сессий агентов на одном GPU
• 2048 сессий на RTX PRO 6000 Blackwell с Qwen 30B-A3B
• 8714 токенов/с против 4965 без оптимизаций
• Confidential Computing edition — $499,99/мес, Standard — $49,99/мес