Laya на 421 млн параметров запустили в браузере: загрузка до 478 МБ

Энтузиаст протестировал открытую модель принятия решений Laya (421 млн параметров, Apache 2.0) в браузере через ONNX Runtime Web. Загрузка весов занимает 26–35 секунд (327–478 МБ), ответ на три вопроса — 358 мс на GPU и около 930 мс на CPU.

• 8-битная сборка весит 478 МБ, 4-битная — 327 МБ, загрузка 35,4 и 25,9 секунды
• Три вопроса обрабатываются за 358 мс на WebGPU и 923–931 мс на CPU
• 4-битная квантизация меняет ответы: 10 из 12 совпадений против 11 из 12 у 8-битной
• В фоновой вкладке Chrome тот же запрос занимает 6,2–13,2 секунды вместо 0,92