CoreWeave: схема питания и сети GPU меняет задержку ИИ на порядки

CoreWeave заявляет, что способ соединения и питания GPU может менять задержку ИИ-нагрузок на порядки. Компания запустила CoreWeave Forge — среду для обучения, инференса, оценки и разработки агентов, а LlamaIndex перешла на аренду вычислений: 75% нагрузки — инференс.

• CoreWeave: конфигурация сети и питания GPU даёт разницу в задержке на порядки
• LlamaIndex обрабатывает миллионы страниц документов в день: 75% инференс, 25% обучение
• CoreWeave Forge объединяет обучение, инференс, оценку и разработку агентов
• CoreWeave следует открытым сетевым протоколам Nvidia вместо проприетарных API