您现在的位置是：良药苦口网 > 百科

不想被OPENAI白嫖：纽约时报网站封杀GPT爬虫禁止其抓取网站内容 – 蓝点网

良药苦口网2025-10-31 12:42:05【百科】4人已围观

简介8 月 7 日 OPENAI 公布自己的互联网爬虫 GPTBot，该爬虫是 OPENAI 用来在全网抓爬内容然后训练 AI 模型用的。尽管多数网站允许 GPTBot 抓爬内容，不过也有些网站并不想给 杭州江干同城约附近小姐上门外围电vx《1662+044+1662》提供外围女上门服务快速选照片快速安排不收定金面到付款30分钟可到达

8 月 7 日 OPENAI 公布自己的不想被OI白报网互联网爬虫 GPTBot，该爬虫是嫖纽爬虫 OPENAI 用来在全网抓爬内容然后训练 AI 模型用的。尽管多数网站允许 GPTBot 抓爬内容，站封站内杭州江干同城约附近小姐上门外围电vx《1662+044+1662》提供外围女上门服务快速选照片快速安排不收定金面到付款30分钟可到达不过也有些网站并不想给 OPENAI 白嫖，禁止所以在 robots.txt 文件里屏蔽了 GPTBot。其抓取网

比如知名新闻媒体《纽约时报》就在网站上封禁 GPTBot，容蓝禁止该爬虫访问纽约时报网站的点网任何内容，包括首页信息摘要等。不想被OI白报网

互联网档案馆的嫖纽爬虫存档显示，纽约时报大约是站封站内杭州江干同城约附近小姐上门外围电vx《1662+044+1662》提供外围女上门服务快速选照片快速安排不收定金面到付款30分钟可到达在 8 月 17 日修改 robots.txt 文件屏蔽 GPTBot 的，而在稍早的禁止时候纽约时报则修改了服务条款，明确禁止任何公司抓取其内容用来训练人工智能模型，其抓取网所以之后修改 robots.txt 协议禁止 GPTBot 也倒是容蓝可以理解。

不想被OPENAI白嫖：纽约时报网站封杀GPT爬虫禁止其抓取网站内容

纽约时报与 OPENAI 矛盾还是点网挺深的，上个月纽约时报就表示正在考虑对 OPENAI 提起法律诉讼，不想被OI白报网因为 OPENAI 侵犯了纽约时报的版权。还有两名作者也在 7 月起诉了 OPENAI，因为 OPENAI 拿他们的作品训练 GPT 模型。

对于修改 robots.txt 阻止 OPENAI 抓爬这事儿，纽约时报拒绝置评，OPENAI 则没有回复置评请求。

最后：如果你也想控制 GPTBot 的抓爬，可以在你网站的 robots.txt 文件中加入指令，例如完全禁止 GPTBot 或允许 GPTBot 抓取一部分内容。

具体操作方法请看：如何禁止OPENAI的爬虫(GPTBot)抓爬网站 附该爬虫的IP地址网段

很赞哦!（876）

上一篇： 《超级机器人大战X》电视广告 登龙剑再次炸裂

下一篇： 第一人称射击游戏《零时》1.0正式版本8月15日正式登陆Steam

相关文章

热门文章

站长推荐

友情链接