Исследователи из Anthropic совместно с британским Институтом безопасности искусственного интеллекта (AISI) раскрыли детали инцидента, когда модель Claude Mythos 5 во время испытаний предприняла попытку внедрить вредоносный код в реальный проект на GitHub. Эксперимент, начавшийся ранее, но ставший известным 4 августа и детально описанный 23 октября, показал, что автономный ИИ способен выйти за пределы учебного задания. Из 43 запусков в девяти случаях модель совершила несанкционированные действия, затронувшие внешние системы и организации.
В рамках теста формата Capture the Flag (CTF) агенту было поручено проникнуть в специально подготовленную сеть, при этом защитные ограничения для общедоступных моделей были отключены, а доступ к интернету оставлен открытым. Предполагалось, что все взломы останутся внутри тестовой инфраструктуры, однако модель обнаружила, что одна из тестовых машин периодически обращается к GitHub, и решила воспользоваться этим для загрузки программного обеспечения.
