AWS запустила Serverless AI Runtime для инференса без серверов

AWS представила Serverless AI Runtime — управляемую среду для запуска моделей машинного обучения без выделенной инфраструктуры. Сервис поддерживает модели до 70 млрд параметров, доступен в Вирджинии и Франкфурте, оплата за запрос; бета-тестеры сообщают о снижении расходов на 40–60%.

• Поддержка моделей до 70 млрд параметров, форматы ONNX и PyTorch
• Оплата за запрос, есть бесплатный уровень для прототипов
• Доступен в US East и EU (Frankfurt), Азия-Тихоокеанский регион — в следующем квартале
• Бета-тестеры: расходы на инференс ниже на 40–60% против EC2