Red Hat объявила о расширении партнерства с NVIDIA, направленного на обеспечение безопасности ИИ-агентов, контроль доступа к моделям и развертывание рабочих нагрузок на будущей платформе Vera Rubin. В центре внимания находится решение Red Hat AI Factory with NVIDIA, объединяющее управление средой выполнения агентов, ПО для инференса и аппаратную поддержку в гибридных облаках. Компании интегрируют эталонную архитектуру NVIDIA OpenShell в свои платформы как встроенную функциональность, чтобы вынести механизмы безопасности за пределы самих агентов и, в ряде случаев, за пределы операционной системы хоста. OpenShell выступает в роли изолированной песочницы для выполнения агентов.
Базовый уровень защиты обеспечивает система NVIDIA Sentry на базе DPU BlueField, а мониторинг рабочих нагрузок выполняет ПО DOCA Argus на отдельном устройстве. Argus анализирует структуры памяти хоста, отслеживая запущенные процессы, файлы и сетевые соединения. При обнаружении угрозы система инициирует политики BlueField для изоляции скомпрометированной нагрузки. Данная архитектура опирается на поддержку платформы BlueField-3 в Red Hat OpenShift 4.22, которая разделяет ИИ-нагрузки на CPU от сетевых функций и сервисов безопасности на Arm-процессорах модулей BlueField. Это гарантирует защиту элементов управления инфраструктурой даже в случае компрометации хоста, а Sentry способна изолировать агента за миллисекунды. Перенос функций мониторинга и управления сетью на DPU снижает нагрузку на основные процессоры сервера.
Партнерство также охватывает вопросы инфраструктуры моделей, необходимых агентам для принятия решений. Эталонный проект включает средства контроля доступа в рамках схемы «модель как услуга» (Model-as-a-Service) и ИИ-шлюз с технологиями инференса, такими как vLLM, llm-d, NVIDIA Dynamo и микросервисы NVIDIA NIM. Решение на базе NVIDIA Inference Hub позволяет пользователям самостоятельно выбирать модели, задавать политики доступа, ограничивать частоту запросов и разграничивать возможности по подписке. Функции управления доступом и выполнения моделей разделены, что дает клиентам возможность контролировать квоты и распределять затраты в гибридных средах. Компании объявили о совместной поддержке моделей NVIDIA Nemotron, включая Nemotron 3.5 Super VL, в среде инференса vLLM, используя механизмы квантования и спекулятивного декодирования для снижения задержек без потери точности.
Red Hat Enterprise Linux for NVIDIA теперь поддерживает процессоры Vera и готова к работе с платформой Vera Rubin. В версии RHEL for NVIDIA 26.03 внесены изменения в набор базовых пакетов для поддержки новой платформы при сохранении стандартного пользовательского окружения и средств безопасности, включая SELinux. Когда поддержка оборудования будет включена в основное ядро Linux, клиенты смогут перейти на стандартную версию RHEL без переустановки системы. Сценарии использования и эталонные решения доступны у партнеров, включая Cisco, Dell и Lenovo, продолжается работа по нативной интеграции OpenShell. Ранее процессор NVIDIA Vera показал превосходство над чипами Intel и AMD, а спецификации стоек Vera Rubin и вычислительных узлов были переданы в OCP в рамках открытой архитектуры MGX. Инстансы на базе Vera Rubin NVL72 в инфраструктуре Google Cloud заработают в ноябре.
