Что такое JailBreak-атаки: почему ИИ нарушает собственные правила и как это работает

Чтобы «взломать» нейросеть, иногда хватит правильно составленного текста. Попросить модель сыграть персонажа без правил, вспомнить покойную бабушку с химзавода, разбить опасный вопрос на цепочку безобидных или просто закодировать его в Base64. Дальше модель обходит собственные ограничения сама, причем из лучших побуждений, так как искренне хочет помочь. На связи Андрей Якунин, инженер по информационной безопасности в Selectel. В тексте разберу классику JailBreak-атак: DAN, «Бабушку», Crescendo,…

Полный текст не публикуется. Источник: Selectel