AMD: ночная оптимизация GPU-ядер с ИИ ускорила 14 000 моделей

Вице-президент AMD по ИИ-софту Ануш Элангован рассказал о подходе к тюнингу GPU-ядер: профилирование hotspots, поиск вариантов ядер с проверкой численной точности и параллельные прогоны на свободных GPU, в том числе ночью. По его словам, инструмент Hyperloom за один проход оптимизировал около 14 000 моделей, а поиск ведёт GEAK.

• Hyperloom за один проход оптимизировал около 14 000 моделей
• GEAK ищет быстрые ядра, сохраняя численную точность
• Допуск по точности задаётся до первого прогона и отсекает конфиги
• ROCm 10 агент может установить и использовать для запуска модели