Semi Analysis: n-gram, AgentX, TPU v7 и Vera Rubin в гонке за быстрые токены

В подкасте Semi Analysis Weekly команда InferenceX разобрала гибридные n-gram-архитектуры, бенчмарк AgentX для агентного кодинга, TPU v7 и Nvidia Vera Rubin. TPU v7 впервые продаётся внешним клиентам и даёт TCO около $1,21 за млн токенов, а Vera Rubin ускоряет инференс втрое за счёт HBM4.

• Гибрид MoE и n-gram-слоёв даёт минимальный loss по данным DeepSeek
• AgentX фиксирует кэш-хиты выше 98%, DRAM-офлоад добавляет 20–30%
• TPU v7 — первый публично продаваемый ускоритель Google, TCO ~$1,21
• Vera Rubin втрое быстрее GB300 на 100 токенах/с благодаря HBM4