LG Uplus и OptAI займутся оптимизацией токенов для ИИ-сервисов

LG Uplus и корейский стартап OptAI договорились совместно исследовать оптимизацию токенов для повышения эффективности ИИ-сервисов. На GPU-стенде им удалось поднять объём обрабатываемых токенов до 4 раз, а на смартфонах — снизить энергопотребление sLM на базе EXAONE на 78% и размер модели на 82%.

• На GPU обработка токенов выросла до 4 раз при том же железе
• На устройствах sLM на EXAONE экономит 78% энергии и 82% размера
• Партнёры провели семинар Efficient AI с FuriosaAI, Vaiseul AI, KETI и Hanyang
• Цель — снизить стоимость эксплуатации крупных ИИ-сервисов