TPU от Google начали обслуживать ИИ в дата-центрах Meta

Google TPU теперь работают в продакшене Meta через PyTorch-версии движков SGLang и vLLM, созданные совместно с RadixArk. На 16 чипах Ironwood vLLM выдал более 700 токенов/с на модели Kimi K3 против 452 токенов/с у 16 Nvidia GB200.

• SGLang-TorchTPU уже работает в продакшене Meta
• vLLM на 16 Ironwood: свыше 700 токенов/с на Kimi K3
• Для сравнения 16 GB200 дали 452 токена/с
• Поддержка новых моделей на TPU в день релиза ожидается к I кварталу 2027