Глава Qualcomm: смартфоны с локальным запуском 100B-LLM появятся к 2028 году

Кристиано Амон заявил, что к 2028 году смартфоны смогут непрерывно запускать языковые модели на 100 млрд параметров, и ИИ-компании уже разрабатывают такие устройства. Он не назвал конкретных партнёров и не объяснил, как решить проблему нехватки и дороговизны DRAM.

• Для 100B-модели в 4-битном квантовании нужно минимум 50 ГБ памяти
• В 2-битном варианте — около 25 ГБ только под модель
• Альтернативы: потоковая подгрузка из флеш-памяти и MoE с выгрузкой экспертов
• Дистиллированные модели на 20–30B приближаются по качеству к 100B