AWS и Booking.com сжали 70B-модель до 1,1B и ускорили её в 10–20 раз

AWS и Booking.com получили награду ACL 2025 Industry Track за фреймворк, который сжимает 70-миллиардную модель Llama-3.1 до 1,1 млрд параметров (TinyLlama), сохраняя более 90% качества, и ускоряет вывод в 10–20 раз. Метод сочетает дистилляцию знаний и спекулятивное декодирование Medusa и уже работает в трёх продуктах Booking.com.

• Дистилляция даёт ~6x ускорения, Medusa — 2–3,6x, вместе 10–20x
• Студент TinyLlama на 1,1 млрд параметров сохраняет свыше 90% качества учителя
• Результат проверен A/B-тестами на реальном трафике Booking.com
• Статья выбрана лучшей из 421 заявки на ACL 2025 Industry Track