全球近半数热门新闻网站封锁OpenAI爬虫，北半球国家尤为显著据IT之家2月27日报道，一项由路透社研究所最新揭晓的研究揭示了全球新闻网站对人工智能爬虫的态度与策略。研究数据显示，截至2023年底，在覆盖全球10个国家的主流新闻网站中，接近半数（48%）采取了屏蔽OpenAI爬虫的措施，而针对谷歌AI爬虫的屏蔽比例也高达四分之一（24%）。
深入探究这一现象，路透社研究所详尽分析了包括《纽约时报》、BuzzFeed新闻、《华尔街日报》、《华盛顿邮报》、CNN和NPR在内的15家最具影响力的网络新闻机构的robots.txt文件，它们分别代表了德国、印度、西班牙、英国和美国等国的传统印刷媒体、电视广播公司以及数字原生媒体三大类别。
研究报告披露了一个引人关注的现象：在传统印刷媒体领域，超过半数（57%）的网站如《纽约时报》已对OpenAI爬虫进行了有效屏蔽，相比之下，电视和广播公司的比例为48%，数字原生媒体则为31%。同样地，对于谷歌爬虫的屏蔽，印刷媒体达到32%，广播公司和数字原生媒体分别为19%和17%。
同时，康奈尔大学的一项最新研究表明，当新一代人工智能模型仅依赖前代模型数据而非人类输入进行训练时，可能会陷入“模型崩溃”，导致生成质量下滑，错误与误导信息增多。
爬虫技术在互联网世界中扮演着重要角色，例如Googlebot负责抓取并收录发布商网站至搜索结果，而OpenAI的GPTBot则在网络上收集大量数据用于训练其大型语言模型如ChatGPT，使其能产出准确且实时的，尤其重视高质量新闻来源——大型语言模型对优质出版商的倚重程度较其他来源高出5到100倍。
此外，该研究还揭示了一项地域性趋势，即北半球国家的新闻机构相较于南半球更倾向于屏蔽人工智能爬虫。以美国为例，79%的主流在线新闻网站屏蔽了OpenAI爬虫，而在墨西哥和波兰，这一比例仅为20%。与此同时，德国60%的新闻网站选择屏蔽谷歌爬虫，而在波兰和西班牙，这一比例却仅有7%。
值得注意的是，大部分（97%）屏蔽谷歌爬虫的网站同时也对OpenAI爬虫实施了封锁。尽管研究并未给出明确原因，但这一高比例可能暗示OpenAI的爬虫发布时间早于谷歌。事实上，去年8月初，OpenAI启动其人工智能爬虫后，谷歌随即于9月份跟进。进一步观察发现，一旦决定屏蔽，无一家新闻网站撤销对OpenAI或谷歌人工智能爬虫的限制措施。
