NanoGPT установил рекорд обучения: 39,9 секунды вместо 73,9

Deven Pietrzak установил новый рекорд скорости обучения NanoGPT — 39,914 секунды, что на 46% быстрее прежних 73,889 секунды. Результат подтверждён четырьмя независимыми воспроизведениями, финальная кросс-энтропия — 3,27731.

• Обучение заняло 39,914 с — на 46% быстрее прежних 73,889 с
• Sampled-softmax и хешированные n-граммы дали экономию 8 и 7,05 с
• Оптимизатор ANVIL и FP8-квантизация сэкономили 5,08 и 4,96 с
• Итоговая кросс-энтропия 3,27731 при стандартном отклонении 0,00099