iPhone 17 Pro Max ускорил prefill 27B-модели на MacBook Pro до 44%
Пользователь подключил iPhone 17 Pro Max к MacBook Pro на M4 Pro по USB-C и через открытое ПО backburner разделил работу над моделью Qwen3.8-27B: Mac считает слои 1–40, iPhone — 41–64 на GPU A19 Pro. На контексте 16K prefill вырос с 109 до 157 токенов/с (+44%), на 8K — с 132 до 177 (+35%), на 32K — с 101 до 130 (+29%).
- Prefill на 16K вырос с 109 до 157 токенов/с, прирост 44%
- На 8K — с 132 до 177 токенов/с (+35%), на 32K — с 101 до 130 (+29%)
- Mac считает слои 1–40, iPhone 17 Pro Max — 41–64 на GPU A19 Pro
- Ускорение работает только на prefill, генерация текста остаётся за Mac
Читать дальше
Гаджеты