Финтех-компания Revolut перешла от использования платных API к собственным выделенным GPU для работы 2000 инженеров, что позволило снизить затраты на обработку запросов в десять раз и ускорить выполнение задач на 70%.
Основной моделью для 2000 инженеров стала открытая модель GLM, развёрнутая на 56 GPU NVIDIA B200, при этом Claude Code и Codex остались исключительными инструментами для задач, требующих анализа изображений.
Смешанная стоимость токенов при использовании собственной инфраструктуры составила $0,30 за миллион, что в десять раз дешевле, чем оплата за запросы к закрытым моделям Anthropic и OpenAI.
Время написания кода сократилось на 60%, а срок выполнения задач (lead time) — на 70%, что связано не только с генерацией кода, но и с автоматизацией рутинных операций, таких как разбор почты, Jira и Confluence.
Оптимизация инфраструктуры, включая квантование NVFP4 и ограничение контекста до 256 000 токенов, позволила снизить задержку до первого токена с 14,26 с до 1,68 с при росте нагрузки на 76%.
Раннее использование Gemini в январе 2025 года дало лишь 10% сокращения lead time и 20% сокращения времени кодирования, тогда как переход на GLM в апреле 2026 года привёл к значительному улучшению показателей.
Анализ Gartner подтверждает, что 9 из 10 шагов в корпоративных агентных процессах являются рутинными и могут выполняться открытыми моделями наравне с закрытыми за четверть цены.
Загрузка комментариев…