Компания Anthropic, известная разработкой модели Claude, включила предупреждение об угрозе существованию человечества в свой проспект первичного публичного размещения акций (IPO). В документе, опубликованном на сайте Комиссии по ценным бумагам и биржам США (SEC), указано, что мощные системы искусственного интеллекта без должного контроля могут создавать катастрофические риски, особенно если их используют во вред, копируют или наделяют высокой автономностью. Разработчик отмечает, что наиболее совершенные модели уже демонстрируют способности помогать злоумышленникам в создании химического, биологического и другого опасного оружия.
Несмотря на применение технических средств для блокировки таких действий, Anthropic предупреждает, что защита несовершенна и ее можно обойти.
