Компания NVIDIA начала реализацию результатов крупнейшей в истории сделки по приобретению Groq за 20 млрд долларов, внедрив архитектурно отличные ИИ-ускорители LPU в свою платформу Vera Rubin. Это решение позволяет создать гетерогенную систему, где ускорители LPX отвечают за детерминированную и предсказуемую генерацию токенов с низкой задержкой, а универсальные NVL72 обеспечивают высокую пропускную способность для обучения и обработки больших контекстов. Такое сочетание необходимо для поддержки новых классов агентов, где скорость генерации приближается к 1000 токенов в секунду на пользователя, что требует инфраструктуры, способной работать в режиме реального времени без задержек.
Интеграция Vera Rubin NVL72 и Groq 3 LPX демонстрирует значительный прирост эффективности: система работает в 35 раз быстрее аналогов на базе Grace Blackwell NVL72 при нагрузке 400 TPS на пользователя. Для чувствительных к задержкам рабочих нагрузок, таких как агентное кодирование и мультиагентные системы, эта комбинация позволяет увеличить доход на ватт в пять раз по сравнению с GB200 NVL72 и до десяти раз при использовании LPX. Стоечный суперускоритель Groq 3 LPX содержит 256 чипов Groq 3 (LP30) с 96 млрд транзисторов в каждом, объединяя вычисления, память и сеть в бескабельной конструкции для упрощения развертывания.
Ключевой особенностью LPU является детерминизм, достигаемый за счет плоской архитектуры памяти на базе SRAM без кешей и иерархии, а также явного управления данными компилятором. Вместо аппаратных эвристик система использует плезиохронный C2C-протокол, устраняющий вариативность выполнения и обеспечивающий стабильную задержку. Чипы Groq 3 оптимизированы для работы с векторами фиксированного размера (320 элементов), что позволяет эффективно выполнять матричные и векторные операции, а сеть RealScale обеспечивает детерминированный обмен данными со скоростью до 2,5 Тбайт/с на узел.
Для реализации стратегии дезагрегации инференса NVIDIA разработала программное обеспечение Dynamo, которое классифицирует запросы и распределяет их между GPU и LPU. В процессе работы система разделяет этапы декодирования: GPU обрабатывают предварительное заполнение и механизмы внимания с учетом большого контекста, тогда как LPU ускоряют чувствительные к задержкам операции FFN/MoE. Это позволяет GPU абсорбировать растущие объемы данных с увеличением контекстного окна, сохраняя постоянную нагрузку на LPU и решая проблему ограниченного объема памяти в традиционных ИИ-ускорителях.
