Apple Watch Series 6 запустил локальную ИИ-модель Falcon H1

Эксперимент Better Stack показал, что Apple Watch Series 6 2020 года с 1 ГБ ОЗУ запускает LLM Falcon H1 на 90 млн параметров со скоростью 15–24 токена в секунду. Для этого адаптировали llama.cpp в обход несовместимости с Core ML, а модель на 135 млн параметров оказалась слишком тяжёлой для часов.

• Falcon H1 на 90 млн параметров выдаёт 15–24 токена в секунду на часах 2020 года
• Скорость генерации в 50 раз выше, чем у Raspberry Pi первого поколения
• Core ML не поддерживает архитектуру Mamba 2, поэтому адаптировали llama.cpp
• Модель на 135 млн параметров не уложилась в 1 ГБ ОЗУ и 32-битную адресацию