Компания Anthropic в обновленной документации к IPO признала, что находится на пороге создания систем с рекурсивным самосовершенствованием, что создает риск ускорения развития технологий быстрее, чем успевают внедряться меры безопасности.
В обновленном проспекте S-1/A компания добавила предупреждение о рисках рекурсивного самосовершенствования (RSI) в раздел факторов риска перед подачей документов в SEC.
RSI определяется как этап, когда ИИ настолько эффективно помогает обучать новые модели, что развитие технологии резко ускоряется, превращаясь из преимущества в угрозу безопасности.
Внутренние оценки Anthropic указывают, что компания может в ближайшее время достичь порога резко ускоренного прогресса, однако ни одна из текущих моделей пока не признана превысившей этот порог.
Компания отмечает, что в прошлом уже упускала моменты резкого ускорения разработки, обнаруживая их только задним числом по запаздывающим данным.
Для предотвращения неконтролируемого развития руководство рассматривает изменения в Политике ответственного масштабирования, чтобы закрепить за человеком контроль над разработкой передовых моделей.
Хотя заявления о близости к созданию саморазвивающегося ИИ могут служить маркетинговым целям в рамках IPO, компания подчеркивает, что не рассчитывает поручить Claude автономную разработку без значимого контроля со стороны людей.
«Использование ИИ для создания более мощного ИИ может нести значительный риск для безопасности» — Kod.ru
«Компания опасается, что модели начнут развиваться быстрее, чем она успеет создать и проверить меры защиты» — Kod.ru