Forlinx выпустила M.2-ускоритель ИИ на 20 TOPS для локальных LLM
Forlinx представила карту-ускоритель ИИ в формате M.2 2280 на процессорах Rockchip RK1820 и RK1828 с производительностью 20 TOPS (INT8) и до 5 ГБ встроенной DRAM. Модуль рассчитан на локальный вывод LLM, VLM и задач компьютерного зрения на Linux и Android; каскад из четырёх карт на OK3588-C поддерживает модели на 27–31 млрд параметров при энергопотреблении около 40 Вт.
- NPU на 20 TOPS (INT8), форматы INT4/INT8/INT16/FP8/FP16/BF16
- RK1820 — 2,5 ГБ DRAM, RK1828 — 5 ГБ в 3D-компоновке
- Один канал PCIe 2.1, хосты RK3568, RK3572, RK3576, RK3588
- Каскад из 4 карт: Qwen2.5-3B — 102 ток/с, 27B — до 13 ток/с
Читать дальше
Железо