Google добавила цикловую профилировку ядер в XProf для TPU
Google расширила открытый профилировщик XProf набором Kernel Profiling для TPU-нагрузок. Теперь разработчики видят цикловые детали кастомных ядер Pallas, которые раньше отображались как непрозрачные блоки. В демо на TPU v7 (Ironwood) тройная буферизация сократила время ядра с 125,5 до 88 мкс — примерно на 30%.
- XProf показывает цикловые метрики ядер Pallas, Mosaic и Triton на TPU v7
- Сэмплирование счётчиков идёт с разрешением от 1 мкс, внешний триггер убирает этот порог
- Доступно до 28 счётчиков на ядро и до четырёх SparseCores (матрица 4x28)
- В демо тройная буферизация ускорила ядро matmul с 125,5 до 88 мкс
Читать дальше
ИИ