Tencent открыла Hy4 preview на 770 млрд параметров под Apache 2.0

Tencent выложила в открытый доступ MoE-модель Hy4 preview на 770 млрд параметров (49 млрд активных на токен) под лицензией Apache 2.0 с контекстом 1 млн токенов. Одновременно IQuest выпустила IQuest-Q1 на 320 млрд параметров с активацией лишь 15 млрд на токен под Modified MIT.

• Hy4 preview: 770 млрд параметров, 49 млрд активных, 78 слоёв, контекст 1 млн токенов
• Веса Hy4 занимают около 1,56 ТБ и требуют серверной инфраструктуры
• IQuest-Q1: 320 млрд параметров, 15 млрд активных, контекст 524 288 токенов
• В слепом тесте на 203 инженерных задачах Hy4 набрала 2,99 против 2,92 у GLM 5.3