Корпоративный ИИ-ассистент может начать выдавать ошибочные рекомендации, например, сообщать, что для важной операции больше не требуется согласование, даже если сама модель работает штатно. Причина таких атак часто кроется в отравлении данных, используемых для обучения или формирования ответов. Старший эксперт по защите ИИ Альфа-Банка Керимбай Акылжан объясняет, что атака не обязательно требует изменения всего обучающего датасета. Злоумышленнику достаточно внедрить небольшую, но правильно подобранную часть данных: изменить метки, удалить записи, нарушить баланс классов или добавить специальную фразу-триггер. В случае массовой атаки общее качество модели снижается, что отражается на метриках. Целевая атака, или бэкдор, работает иначе: модель отвечает корректно на большинство запросов, но ошибается при появлении конкретного триггера, при этом общие метрики остаются неизменными.
Уязвимости могут возникать на разных этапах жизненного цикла системы. На этапе предобучения модель получает большие объемы данных из внешних источников, где компрометация одного документа способна повлиять на итоговый результат. Во время дообучения, когда модель работает с меньшим датасетом, отдельные вредоносные примеры могут сильнее искажать поведение системы. Особую опасность представляют системы с RAG (Retrieval-Augmented Generation), где модель использует информацию из внешней базы знаний. Если злоумышленник изменит документ в этой базе, ассистент может использовать ложную информацию как основание для ответа, даже если сама модель не затронута. Также риски существуют при скачивании готовых моделей из репозиториев, где файлы могут содержать вредоносный код, запускаемый при десериализации.
Для выявления подмен эксперт приводит пример исследования Anthropic, где для формирования бэкдора потребовалось всего 250 документов с триггером , что составило лишь 0,00016% от общего числа обучающих токенов. Это показывает, что количество измененных данных не должно быть сопоставимо с размером корпуса, главное — закрепление специфического поведения. Разработчикам необходимо проверять не только общие метрики, но и реакцию модели на отдельные категории запросов и редкие условия. Чтобы предотвратить атаку, нужно зафиксировать происхождение файлов, сохранять конкретные версии данных и связывать их с результатами обучения через контрольные суммы. При проверке скачиваемых документов следует анализировать структуру, наличие аномальных записей, скрытых символов и вредоносного кода, который может сработать при открытии файла, а не только во время обучения.
