Модель на 325 млн параметров обучили с нуля на NPU для инференса

Компания B-Draft предобучила языковую модель VKORE-325M-NPU-Base на 325,6 млн параметров с нуля на коммерческом инференс-NPU Rebellions ATOM-Max. На тех же данных и гиперпараметрах модель обучили на одном GPU B200: потери на невиданном тексте составили 0,7993 у NPU и 0,7994 у GPU.

• Модель: 20 слоёв, ширина 1024, FFN 3584, GQA 8/2, байтовый словарь на 256 токенов
• Обучение: 5 млрд байт FineWeb-Edu, 76 292 шага, около 4 дней
• Оценка на 1024 отрезках из неиспользованного ша��да 013: разница -0,0001 при стандартной ошибке 0,0007
• Веса в формате LlamaForCausalLM и скрипт оценки выложены публично