Google открыла код TorchTPU — нативного бэкенда PyTorch для TPU

Google выложила в открытый доступ TorchTPU 0.2.0 — нативный бэкенд PyTorch для Cloud TPU, созданный совместно с командой PyTorch из Meta. Он заменяет PyTorch/XLA, работает через torch.device("tpu") и масштабируется до 8192 чипов Ironwood; заявлено до 52% MFU при обучении Qwen 3 8B.

• TorchTPU 0.2.0 на PyPI, лицензия Apache 2.0, Python 3.11+
• Заявлено до 52% MFU на Qwen 3 8B и масштабирование до 8192 чипов Ironwood
• torch.compile дал ускорение шага в 3,8 раза: с 11,49 до 2,78 с
• Поддержка vLLM, SGLang и Hugging Face Transformers v5