Microsoft, Google, OpenAI и Anthropic согласовали использование общего сигнала в файле robots.txt для запрета использования контента сайтов на обучение моделей. Внедрение механизма запланировано на 2027 год, что позволит владельцам ресурсов управлять доступом к данным для всех провайдеров одной настройкой.
Инициатива основана на проекте спецификации, разработанном в рамках рабочей группы IETF AIPREF.
Новый подход позволяет заменить множество отдельных настроек для каждого робота единым сигналом, который будет распознаваться разными поставщиками ИИ.
Microsoft предлагает разделить управление доступом на два независимых уровня: запрет на обучение моделей и запрет на использование материалов при генерации ответов.
Владельцы сайтов смогут сохранять присутствие своих материалов в обычной поисковой выдаче, даже если запретят их использование для обучения нейросетей.
Собственные настройки каждой компании сохранят приоритет над общим сигналом, если они явно указаны в файле robots.txt.
Google планирует считать общий запрет на обучение эквивалентом своего механизма Google-Extended, если отдельная директива для него не задана.
Расхождения в источниках
Точные сроки внедрения механизма различаются: Microsoft и Google планируют запуск в 2027 году, Anthropic уже начала внедрение, а OpenAI обещает поддержку в ближайшие месяцы.
Google пока не анонсировала поддержку механизма AI Grounding, предложенного Microsoft, хотя планирует внедрить общий запрет на обучение.