Guardrails для LLM: как устроена защита языковых моделей
Привет, Хабр! Я Антон, инженер по информационной безопасности в Selectel. Представьте новость: защиту GPT-6 Astra обошли обычным транслитом. Сегодня это звучит как фантастика, а вот ранние LLM ломались и на таком. Модель же не знает, кто перед ней — обычный пользователь или злоумышленник, поэтому старается выполнить любую задачу. По этой причине ИИ может быть чрезвычайно доверчивым и выдавать любые ответы, стоит только немного изменить форму или контекст запроса. Атаки на LLM показали: если защ…
Полный текст не публикуется. Источник: Selectel