6 октября команда Google DeepMind обнародовала модель EmbeddingGemma 2, предназначенную для семантического поиска по текстам, коду, изображениям, аудио и видео. В отличие от предыдущей текстовой версии, новая модель объединяет различные типы данных в едином векторном пространстве, что позволяет, например, находить видеоклипы по голосовым заметкам. Полная версия модели содержит 740 миллионов параметров, тогда как для текстовых задач достаточно версии на 270 миллионов параметров. Для поддержки мультимодальности к базовой части добавляются энкодеры зрения на 170 миллионов и аудио на 300 миллионов параметров.
Контекстное окно модели увеличилось в четыре раза и теперь достигает 8 тысяч токенов. Согласно данным разработчика, такой объем позволяет обрабатывать до 5,5 минут аудио, 29 изображений или 58 кадров видео. Для задач, связанных с обработкой кода, качество поиска значительно улучшилось: оценка по бенчмарку MTEB Code выросла с 68,76 до 78,68. Google заявляет, что модель демонстрирует лучшие результаты среди мультимодальных моделей с количеством параметров менее миллиарда, однако независимые проверки этих утверждений в источнике не приводятся.
Главным преимуществом модели является возможность локальной обработки данных, что позволяет проводить поиск по файлам и медиафайлам без их передачи в облако. Веса модели доступны для скачивания на платформах Hugging Face и Kaggle под лицензией Apache 2.0, которая разрешает коммерческое использование. В анонсе не указаны стоимость развертывания решения и доступность сервисов для пользователей из России.
