Компания MWS Cloud представила ряд обновлений платформы, среди которых выделяется запуск единого калькулятора облачных ресурсов. Пользователи теперь могут формировать конфигурации, рассчитывать их стоимость и сравнивать различные варианты до момента создания реальных ресурсов. Функция калькуляторов также интегрирована непосредственно на страницах сервисов, например, на платформе GPT Model Hub, где можно оценить и сопоставить затраты на токены для разных моделей искусственного интеллекта.
В обновлении GPT Model Hub были внедрены дефолтные квоты на запросы и токены в минуту для всех текстовых моделей. Значения RPM (запросов в минуту) и TPM (токенов в минуту) были подобраны с учетом фактической нагрузки проектов, что призвано обеспечить стабильность API при увеличении числа запросов и предотвратить деградацию качества из-за соседних пользователей. Актуальные значения квот можно проверить в консоли MWS Cloud в разделе «Квоты», а при необходимости увеличить лимиты следует обратиться в поддержку с указанием модели и желаемого значения.
Отдельным событием стало открытие раннего доступа к сервису Serverless Queue, совместимому с Kafka и предназначенному для потоковой обработки событий. Основная цель внедрения этого решения — снять с инженеров необходимость в управлении и capacity-менеджменте нижней инфраструктуры. Сервис позволяет избежать ручного подсчета партиций под пиковые нагрузки, необходимости держать дежурных сотрудников для ребалансировок и масштабирования брокеров вручную.
