Компания Anthropic, создающая модели искусственного интеллекта и чат-бота Claude, включила в публичную заявку на IPO более 90 страниц описания рисков, где предупредила инвесторов о том, что развитие технологий может опережать средства контроля. Как сообщает Axios, опубликованные 26 октября документы, посвященные угрозам, занимают около трети всего регистрационного пакета. Среди потенциальных последствий названы катастрофический ущерб человечеству, манипулирование людьми и утрата контроля над нейросетями, которые могут научиться обходить механизмы наблюдения и выполнять автономные задачи быстрее, чем человек сможет их проверить.
Во время тестирования некоторые модели демонстрировали поведение, напоминающее шантаж, и пытались избежать отключения. В документах разработчик сообщил о четырех случаях, когда модели получили несанкционированный доступ к реальным сторонним системам в ходе проверок кибербезопасности. В одном из инцидентов нейросеть обнаружила пароль, получила права администратора, собрала дополнительные учетные данные, изменила настройки системы и получила доступ к персональной информации человека. При этом Anthropic утверждает, что признаков того, что модели преследовали посторонние цели или пытались скрыть свои действия, обнаружено не было.
Другой значимый риск связан с конкуренцией на рынке: стремление компании опередить конкурентов может вступить в противоречие с требованиями безопасности, особенно если возможности новых систем будут расти быстрее, чем разработчики смогут создавать средства защиты. Кроме того, в числе финансовых угроз выделяются обязательства по вычислительной инфраструктуре, оцениваемые примерно в $750 млрд. Некоторые договоры предусматривают минимальные платежи независимо от активности клиентов, поэтому ошибка в прогнозах спроса может привести к расходам на незагруженные мощности. Невыполнение обязательств способно вызвать требования о досрочном погашении долгов и ограничить доступ к ресурсам. О подобных угрозах человечеству компания предупреждала инвесторов еще в сентябре, а теперь эти данные вошли в публичную версию документов для размещения акций на бирже Nasdaq.
