Habr Гари Ильес: robots.txt запрещает только краулинг, но не использование контента для обучения ИИ Последние два года у владельцев сайтов сложилась коллективная привычка: дописать в robots.txt Disallow для GPTBot, CCBot и прочих AI-краулеров — и считать, что контент от ИИ закры…
