Запуск LLM в браузере: WebGPU выдал 63 токена/с против 1,6 у WASM

Разработчики BEINGS измерили 17 октября 2026 года запуск небольшой языковой модели прямо в браузере через Transformers.js и Web Worker: на WebGPU модель на 360 млн параметров выдала 63 токена/с, на запасном WASM — 1,6. Модель на 1B отвечала менее чем за полсекунды, а Qwen на 0,5B при высокой температуре выдавал столько мусора, что половину ответов пришлось отбрасывать.

• WebGPU: 63 токена/с, WASM-фолбэк: 1,6 токена/с на модели 360M
• Модель на 1B в 4-битном квантовании занимает около 1,2 ГБ вместо 5 ГБ
• Llama на 1B ответила менее чем за 0,5 секунды в Chrome 155 на RTX 4070
• У Qwen 0,5B при высокой температуре отбросили половину ответов из-за бессвязности