VKORE запустила обучение трансформеров на NPU с точностью 0,9999

VIDRAFT представила VKORE — программный слой, который ускоряет инференс на NPU в 3,8 раза для одного пользователя и в 4,1 раза по пропускной способности сервера, а также позволяет обучать LoRA-адаптеры трансформеров на NPU с точностью 0,9999 относительно PyTorch и в 170 раз быстрее CPU. Замеры проведены на корейском NPU-сервере из 8 карт (32 чипа) с моделью Gemma 4 26B.

• Инференс Gemma 4 26B: с 14,1 до 53,9 токенов/с на пользователя (3,8x)
• Пропускная способность сервера выросла с 214 до 881 токенов/с (4,1x)
• LoRA-обучение на NPU: точность 0,9999 к PyTorch, около 170x к CPU
• Скорость обучения — около 54% от одной NVIDIA B200 при сопоставимой цене