EmbeddingGemma 2: как перейти с 768 на 512 координат и сэкономить память на RTX 5090
У EmbeddingGemma 2 выходная проекция имеет ранг 512, хотя штатный эмбеддинг содержит 768 координат. Мы использовали QR-разложение этой проекции, чтобы перевести векторы в 512-мерное пространство и сохранить косинусное сходство. Затем сравнили QR-варианты с штатным MRL-уменьшением размерности. Эксперименты провели на RTX 5090: проверили качество поиска на SciFact и FiQA, измерили память и задержку точного поиска FAISS на корпусах MS MARCO до пяти миллионов документов, а также время конвертации г…
Полный текст не публикуется. Источник: Habr