Dust от Q Labs обучает трансформеры без обратного распространения

Открытый бенчмарк Q Labs Noise speedrun показал, что алгоритм Dust обучает трансформеры только прямыми проходами и достигает validation loss 3,338 против 3,340 у бейзлайна ANVIL II на обратном распространении. В открытом треке результат дошёл до 3,211. Dust оценивает направление градиента, добавляя шум в активации на уровне токенов.

• Dust достиг loss 3,338 на Track One, обойдя бейзлайн ANVIL II с 3,340
• В открытом треке результат составил 3,211 — заметно ниже обоих бейзлайнов
• Метод добавляет гауссов шум в активации каждого токена вместо обратного прохода
• Эксперименты шли на модели 37,7 млн параметров и датасете FineWeb