CloudFlare为所有用户推出AI爬虫防护功能,一键拦截未经授权的AI爬虫抓取网站数据

CloudFlare最近推出了一项新的AI爬虫防护功能,允许用户一键开启自动拦截AI爬虫,防止网站数据被用于AI模型训练。这项服务对免费和订阅用户均开放,旨在避免未经授权的内容抓取。尽管CloudFlare的具体运作原理尚未公开,但预计其可能通过识别并拦截常见的AI爬虫名称来实现防护。此外,对于不遵守robots.txt协议的爬虫,CloudFlare建议使用额外措施,如封禁高频UA或开启真人验证功能,以增强防护效果。

蓝点网

关注频道 @ZaiHuaPd
频道爆料 @ZaiHuabot
来自频道: @zaihuapd
Loading comments...