Cloudflare宣布从2026年9月15日起，所有使用Cloudflare服务的网站将默认屏蔽“混合AI爬虫”，标志着互联网内容获取模式正在经历一次重大调整。这一时间节点明确了搜索引擎和AI抓取行为需要适应新的规则。
回顾当前的技术趋势，Google已经推出了“AI概览”（AI Overviews）功能，用户在搜索时不再仅获得链接列表，而是直接在结果页顶部看到一段由AI总结的答案，这段答案来源于其他网站的内容。此外，小红书也于2025年推出了一个名为“问一问”的AI搜索功能，其逻辑与Google AI概览非常相似。
从数据层面看，Cloudflare指出，在2026年6月，所有非人类流量（包括搜索引擎爬虫和AI爬虫等）占到了网页总流量的57.4%。这表明自动化、非人工的抓取行为已经成为互联网流量结构中占据主导地位的部分。
这种趋势的变化，使得内容方面临着更直接的商业化压力。Cloudflare认为，互联网运转了三十年的“免费内容换流量”的默契模式已经难以维持。为了应对这一变化，Cloudflare从2025年开始上线了“AI爬虫控制（AI Crawl Control）”功能，允许网站主手动屏蔽AI爬虫。
更进一步地，Cloudflare推出了“Pay Per Crawl（按次付费）”机制，要求AI爬虫若想访问内容，必须在请求中附带支付意图。同时，Cloudflare也公布了OpenAI和Anthropic等主体的数据，显示出惊人的爬取回流比，例如Anthropic达到了500000:1。
从用户行为的角度看，数据揭示了AI摘要对用户点击习惯的显著影响。皮尤研究中心的数据表明，在有“AI概览”的情况下，用户直接点击链接的比例从没有AI概览时的15%骤降至8%。这凸显了内容被聚合和总结后，原始链接的可见度和可触达性正在下降。
这些技术和商业机制的变化，使得网站运营方必须重新审视其获取流量和变现的方式。例如，美国出版集团Penske Media旗下的《滚石》等媒体品牌拥有超过1.2亿的月访客量，它们是内容生态的重要组成部分，而这些内容的价值正受到AI聚合模式的挑战。
在流程时间线上，我们看到一个清晰的演进路径：从早期依赖免费爬取到Cloudflare上线“AI爬虫控制”功能（2025年开始），再到当前宣布的默认屏蔽和付费机制（2026年9月15日）。这构成了一个从“被动接受抓取”到“主动收费限制”的明确时间线。
读者需要关注的是，内容方如何利用这些工具和机制来保护其核心资产。Cloudflare在过去曾经历过一次大规模宕机事件（2025年11月），影响了X、ChatGPT等多个服务，这提醒所有参与者基础设施稳定性的重要性。同时，网站主应密切关注Cloudflare提供的“AI爬虫控制”功能的使用指引，以确保内容安全。
信息来源
本文基于上述公开资料整理，未使用来源页面的图片、视频或嵌入媒体。