Microsoft, Google, OpenAI и Anthropic согласовали использование общей директивы в robots.txt для запрета обучения нейросетей контентом сайтов. Это позволит владельцам ресурсов блокировать доступ к своим материалам для обучения моделей одним правилом, вместо настройки ограничений для каждого робота отдельно.
Предложение по единому стандарту было подготовлено сотрудником Anthropic и направлено в Инженерный совет интернета (IETF) для разработки общего механизма, который будет применяться сразу для нескольких поставщиков ИИ.
Компании разделяют запрет на обучение моделей и запрет на использование материалов для генерации ответов, позволяя владельцам сайтов разрешать индексацию в поиске, но запрещать копирование контента для ответов ботов.
Microsoft планирует внедрить новые правила с 1 февраля 2027 года, а Google рассчитывает добавить поддержку общего запрета на обучение в течение 2027 года, при этом собственные настройки каждой компании сохранят приоритет.
OpenAI обещает поддержку нового механизма в ближайшие месяцы, а Anthropic, по данным источников, уже начал внедрение соответствующих изменений в свою инфраструктуру.
Google уточнила, что если сайт запретит обучение через новую директиву и не укажет отдельные правила для Google-Extended, компания будет считать обучение запрещенным и для своего механизма, однако индивидуальные настройки останутся приоритетными.
Расхождения в источниках
Google пока не анонсировала поддержку предложенного Microsoft механизма AI Grounding, в то время как Microsoft детально описала технические способы реализации запрета на использование контента для генерации ответов.