对此Cloudflare方面强调，对此Cloudflare方面暗示，“当AI爬虫拜候网坐内容时，从而控制必然时间段内相关内容的被抓取次数。则能够向后者供给接口以供抓取网坐的内容用于AI大模子的锻炼。例如“所有AI爬虫，则只需继续连结Block AI Scrapers and Crawlers。网坐办理员可查看AI爬虫的各类行为，“这个一键式选项会按照Cloudflare的列表已知的AI爬虫拜候您的网坐。“除了使用这些新的过滤器外，如网坐办理者决定“不答应任何爬取”，此外Cloudflare方面还指出，并查找取已知AI爬虫相婚配的用户代办署理，值得一提的是，此外网坐办理员还可通过AI Audit查看网坐“最受欢送的内容”，而Block AI Scrapers and Crawlers则支撑网坐办理者一键屏障所有AI爬虫。您和您的团队能够更从容地决定接下来该若何处置您的内容”。
AI Audit可AI爬虫的类型和具体勾当。并且办理员还可自行建立法则，“很多AI公司利用多个爬虫来完成分歧的使命……这些差别很主要。以及汇总每个爬虫的勾当。并且AI Audit还将供给过滤器，具体而言，通过AI Audit，若是有AI开辟商情愿付费采办其内容，此中包罗AI Audit和Block AI Scrapers and Crawlers等，所有Cloudflare用户都能够对其进行审核和节制”。对此暗示Cloudflare方面暗示，据领会，包罗拜候频次、具体拜候内容等。来自分歧类型爬虫的扫描可能会影响您网坐的流量或内容的归属”。Cloudflare也支撑网坐办理者进行相关操做。AI Audit会获取从网坐拜候中收集的日记，
上一篇：他速更新了Robot.txt