Google расширила линейку TPU восьмого поколения, добавив системы для работы с большими контекстами и конфиденциальными данными. Обновления затронули как аппаратные решения, так и программную инфраструктуру для управления ресурсами.
Новая система TPU 8i Max создана для обработки больших контекстов и работы нескольких ИИ-агентов, предлагая вдвое больше вычислительной мощности, SRAM и пропускной способности HBM по сравнению с базовой версией.
Система TPU 8tx ориентирована на конфиденциальные вычисления, сочетая TPU 8t с процессорами AMD EPYC пятого поколения и аппаратной защитой данных даже во время обработки.
Параллельно с новыми чипами Google представила Agent Compute Engine, которая приостанавливает простаивающие сессии ИИ-агентов, переносит их рабочую память с ускорителей и не занимает ресурсы в ожидании ответа.
Технология TPU Sync управляет иерархией памяти и переносом KV-кэша между ускорителями, оперативной памятью и хранилищем, сокращая задержку передачи более чем на 90%.
Обновлённый GKE Dynamic Slicing теперь динамически формирует и перераспределяет группы TPU, что, по данным Google, ускоряет запуск заданий до 5 раз и восстановление после сбоев до 4,5 раза.
Для разработки следующего поколения аппаратного обеспечения Google использует собственные ИИ-инструменты Gemini и AlphaChip, создавая схемы размещения компонентов чипов за часы вместо недель.
Загрузка комментариев…