#科技资讯 #人工智能 继 OPENAI 后，谷歌也公布了自己的用于抓取内容训练 AI 的 Bot，管理员可以在 robots.txt 中封禁 bot 避免被谷歌拿去训练 AI。

全文链接：https://ourl.co/100490

谷歌称抓取内容可以帮助 Bard 等 AI 模型变得更好，不过也允许管理员按照需要进行控制。

谷歌并未为 AI 抓取使用专门的爬虫，爬虫依然是 GoogleBot，但管理员可以声明禁止用于训练 AI，用于训练 AI 的爬虫令牌是 Google-extended。

例如允许谷歌搜索抓取网站内容，但禁止谷歌拿去训练 AI，就可以这么写：

User-Agent: Googlebot
Allow: /
User-Agent: Google-Extended
Disallow: /

PS：国内这票“大模型”，好像到现在为止一个公布爬虫的都没。

🎉 订阅频道：蓝点网订阅
🥰 𝕏(原推特)：@landiantech
👋 交流频道：蓝点网读者群