VIDRAFT представила VKORE — софт для обучения ИИ на NPU, созданных только для инференса

VIDRAFT разработала программный слой VKORE, который позволяет запускать инференс и обучение моделей на NPU, изначально предназначенных только для инференса, без замены железа. Ускорение инференса достигает 3,8×, пропускная способность сервера — 4,1×, обучение быстрее CPU-базлайна примерно в 170 раз. Подано 16 патентов, публичного SDK пока нет.

• VKORE ускоряет инференс на том же NPU до 3,8×, пропускную способность сервера — до 4,1×
• Обучение Transformer на NPU идёт примерно в 170 раз быстрее CPU-базлайна
• Решение программное и не требует замены чипов, подано 16 патентов
• Модель Darwin-27B-ZTC-v5 заняла 1-е место среди 152 моделей на бенчмарке S1MB