什么是 AI 爬虫？

AI 爬虫是 AI 公司部署的自动化机器人，用于收集网页内容以训练大语言模型。与传统搜索引擎爬虫通过索引内容为网站带来流量不同，AI 爬虫提取内容用于模型训练，但不一定提供归因或流量回馈。

robots.txt 对 AI 爬虫有效吗？

部分有效。OpenAI（GPTBot）、Google（Google-Extended）和 Anthropic（ClaudeBot）等大公司声称遵守 robots.txt 指令。但合规是自愿的，许多小型爬虫会忽略它，且在 robots.txt 更新前已完成的爬取无法撤销。

什么是 Cloudflare AI Labyrinth？

AI Labyrinth 是 Cloudflare 的防御机制，向检测到的 AI 爬虫提供 AI 生成的虚假内容，浪费其资源同时保护真实内容。它创建一个看似合理但无意义的页面迷宫，困住和迷惑自动化抓取工具。

可以合法地阻止 AI 抓取我的网站吗？

法律环境仍在演变中。虽然 robots.txt 是自愿性质，但一些法域承认它表达了网站意图。服务条款违规、版权主张以及新兴的 AI 专项立法提供了额外的法律依据。NYT 诉 OpenAI 等重大诉讼正在树立先例。

AI 爬虫大战：从 robots.txt 到 AI Labyrinth 的内容保卫战【2026】

2026-04-24 - QubitTool技术团队

核心摘要

互联网正在经历一场前所未有的"内容保卫战"。AI 公司大规模部署爬虫抓取网页内容用于模型训练，而内容发布者则从 robots.txt 的"君子协定"，一路升级到 Cloudflare AI Labyrinth 的"迷宫陷阱"。这场攻防博弈正在重塑互联网的内容生态。本文将为你系统梳理这场战争的来龙去脉、关键技术手段和法律前沿。

✨ 核心要点

社交契约已碎：传统搜索爬虫"抓取-索引-导流"的互利模式被 AI 爬虫"抓取-训练-不回馈"的单方面掠夺所取代
robots.txt 是纸墙：它只是自愿性协议，对不遵守的爬虫毫无约束力
AI Labyrinth 是新武器：Cloudflare 推出的"以 AI 制 AI"策略，用生成式内容构建陷阱迷宫
法律战正在打响：《纽约时报》诉 OpenAI、欧盟《AI 法案》等正在建立新的法律边界
多层防御是唯一出路：单一手段无法阻止 AI 抓取，必须组合技术、法律和商业策略

💡 快捷工具: 使用 AI 工具导航发现更多 AI 安全与内容保护相关工具。

AI 爬虫危机：社交契约的破裂

一条运行了 30 年的"互联网社交契约"

1994 年，robots.txt 协议（机器人排除协议，Robots Exclusion Protocol）诞生。它建立了一个简单而优雅的互联网社交契约：

搜索引擎爬虫抓取你的内容 → 索引并展示在搜索结果中 → 为你的网站带来流量。

这是一个双赢模型。网站获得了曝光和流量，搜索引擎获得了索引数据。而 robots.txt 就是这场交易的"握手协议"——如果你不想某些内容被索引，在 robots.txt 中声明即可，搜索引擎会尊重你的意愿。

2023年：契约崩塌

大语言模型（Large Language Model, LLM）的训练需要海量的高质量文本数据。从 2023 年开始，OpenAI、Anthropic、Google 等公司开始部署大规模的专用爬虫，以前所未有的速度和规模抓取互联网内容。

一些高流量新闻网站报告称，来自 AI 爬虫的请求量在 2024 年暴增了 数十倍，有时甚至超过了搜索引擎爬虫的总和。更令人不安的是，部分 AI 爬虫在抓取时完全无视 robots.txt 的限制，甚至刻意伪装 User-Agent 来绕过检测。

关键的区别在于——AI 爬虫打破了社交契约的双赢结构：

AI 爬虫抓走了你的内容，用来训练出一个能"直接回答问题"的模型。当用户在 ChatGPT 中得到了答案，他们不再需要访问你的原始网站。对内容发布者来说，这是赤裸裸的价值掠夺——你的内容被消化吸收了，但你什么也得不到。

规模有多惊人？

根据 Originality.ai 的监测数据，截至 2025 年底：

指标	数据
Alexa Top 1000 网站中屏蔽 GPTBot 的比例	45.1%
主要新闻网站屏蔽至少一个 AI 爬虫	超过 85%
已知的活跃 AI 爬虫 User-Agent	超过 30 个
单个 AI 爬虫每日请求量	可达数百万次

认识主要 AI 爬虫

了解对手，是防御的第一步。以下是当前最活跃的 AI 爬虫及其运营方：

爬虫 User-Agent	运营方	用途	是否声明遵守 robots.txt
GPTBot	OpenAI	GPT 模型训练	✅ 是
ChatGPT-User	OpenAI	ChatGPT 实时浏览	✅ 是
Google-Extended	Google	Gemini 模型训练	✅ 是
ClaudeBot	Anthropic	Claude 模型训练	✅ 是
CCBot	Common Crawl	开放数据集	✅ 是
Bytespider	ByteDance	AI 模型训练	⚠️ 部分
FacebookBot	Meta	LLaMA 模型训练	⚠️ 部分
Applebot-Extended	Apple	Apple Intelligence	✅ 是
PerplexityBot	Perplexity	AI 搜索	⚠️ 争议中
cohere-ai	Cohere	模型训练	✅ 是

flowchart TD A[AI 爬虫请求到达] --> B{检查 User-Agent} B -->|已知 AI 爬虫| C{是否遵守 robots.txt?} B -->|伪装为普通浏览器| D[绕过所有声明式防御] C -->|是| E[robots.txt 可生效] C -->|否| F[robots.txt 无效] D --> G[需要行为分析检测] F --> G E --> H[内容被屏蔽] G --> I{是否部署主动防御?} I -->|是| J["AI Labyrinth / 速率限制"] I -->|否| K[内容被抓取]

⚠️ 重要警示：许多 AI 爬虫不会诚实地声明自己的 User-Agent。它们可能伪装成普通浏览器或使用无法识别的标识符，这使得基于 User-Agent 的屏蔽策略存在先天缺陷。

值得注意的是，PerplexityBot 曾多次被指控即使网站的 robots.txt 明确禁止其访问，仍然继续抓取内容。2024 年，多家媒体公开谴责 Perplexity 的做法，迫使该公司改进了其爬虫行为。这一事件深刻说明了声明遵守和实际遵守之间的巨大鸿沟。

防御层1：robots.txt 与 Meta 标签

robots.txt：最基础的声明

robots.txt 是放置在网站根目录下的纯文本文件，用于告诉爬虫哪些路径可以或不可以访问。以下是一个针对 AI 爬虫的配置示例：

text

# 屏蔽主要 AI 训练爬虫
User-agent: GPTBot
Disallow: /

User-agent: ChatGPT-User
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: PerplexityBot
Disallow: /

User-agent: FacebookBot
Disallow: /

User-agent: cohere-ai
Disallow: /

User-agent: Applebot-Extended
Disallow: /

# 保留搜索引擎索引
User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

HTML Meta 标签：页面级控制

在 HTML 页面的 <head> 中加入 Meta 标签，可以实现更细粒度的控制：

html

<!-- 禁止所有 AI 训练用途 -->
<meta name="robots" content="noai, noimageai">

<!-- 针对特定爬虫 -->
<meta name="GPTBot" content="noindex, nofollow">
<meta name="Google-Extended" content="noindex, nofollow">

robots.txt 的致命弱点

尽管 robots.txt 是必须配置的基础防线，但它存在四个根本性缺陷：

纯自愿性质：没有任何技术强制力，不遵守的爬虫不会受到任何惩罚
无法溯及既往：你今天添加的 Disallow 规则，无法撤回昨天已被抓取的内容
User-Agent 可伪造：恶意爬虫可以轻松伪装身份
二元选择：只能全部允许或全部禁止，无法区分"搜索索引"和"AI 训练"两种不同用途

正因如此，仅依赖 robots.txt 就像锁了前门却敞开了窗户。它声明了你的意愿，但无法强制执行。对于认真保护内容的发布者来说，必须叠加更高级别的防御手段。

防御层2：Cloudflare AI Labyrinth

以 AI 制 AI 的革命性思路

2025 年 3 月，Cloudflare 推出了一项名为 AI Labyrinth（AI 迷宫） 的防御功能。它的核心理念堪称精妙——不是阻止 AI 爬虫，而是用 AI 生成的虚假内容把它们困住。

工作原理

sequenceDiagram participant 爬虫 as AI 爬虫 participant CF as Cloudflare 边缘 participant 网站 as 真实网站 participant 迷宫 as AI Labyrinth 爬虫->>CF: 发送抓取请求 CF->>CF: 行为分析 + 指纹检测 alt 判定为合法访客 CF->>网站: 转发请求网站-->>CF: 返回真实内容 CF-->>爬虫: 返回真实页面 else 判定为 AI 爬虫 CF->>迷宫: 触发 AI 内容生成迷宫-->>CF: 生成看似合理的虚假页面 CF-->>爬虫: 返回虚假内容 + 大量内部链接爬虫->>CF: 跟随链接继续抓取 CF->>迷宫: 生成更多虚假页面 Note over 爬虫,迷宫: 爬虫陷入无限循环的虚假内容迷宫 end

AI Labyrinth 的巧妙之处在于：

不触发警报：爬虫收到的是 HTTP 200 正常响应，不知道自己已被困住
浪费资源：爬虫在假内容的迷宫中不断消耗带宽、算力和存储空间
污染训练数据：如果这些虚假内容被用于模型训练，会降低模型质量
反向指纹识别：可以根据哪些客户端跟随了迷宫链接，识别出更多未知的 AI 爬虫

如何启用

对于使用 Cloudflare 的网站，启用 AI Labyrinth 非常简单：

登录 Cloudflare 仪表板
进入 Security → Bots
开启 AI Labyrinth 选项

该功能对所有 Cloudflare 用户（包括免费套餐）可用。

AI Labyrinth 的局限性

虽然 AI Labyrinth 是一个极具创造力的防御工具，但也需要了解它的局限：

依赖 Cloudflare 平台：只有通过 Cloudflare 代理流量的网站才能使用
检测准确率：极少数情况下可能将合法爬虫误判为 AI 爬虫
军备竞赛：AI 爬虫开发者一旦了解了迷宫的机制，可能会开发针对性的绕过策略
不能阻止已完成的抓取：与 robots.txt 一样，它只能保护未来的内容

防御层3：法律与授权框架

标志性诉讼：法律边界正在形成

技术防御之外，法律武器同样在升级。以下是最具影响力的几起诉讼：

案件	时间	核心争议	当前状态
《纽约时报》诉 OpenAI/Microsoft	2023.12	大规模版权侵权、绕过付费墙	审理中，里程碑式案件
Getty Images 诉 Stability AI	2023.01	使用版权图片训练图像生成模型	部分和解
Authors Guild 诉 OpenAI	2023.09	使用书籍内容训练 GPT 模型	审理中
Thomson Reuters 诉 Ross Intelligence	2020	AI 公司抓取法律数据库内容	原告胜诉（2024）
Reddit 授权协议	2024	Reddit 向 Google 授权训练数据	已签署（$60M/年）

新兴法规框架

欧盟《AI 法案》（EU AI Act）：2024 年正式生效，要求 AI 公司披露训练数据来源，并尊重 robots.txt 中的退出声明
美国版权局：正在审议 AI 训练中的合理使用（Fair Use）边界，预计 2026 年出台指导意见
日本：曾被视为对 AI 训练最宽松的法域，2025 年开始收紧，要求 AI 公司建立退出机制（Opt-out）

商业授权模式兴起

越来越多的内容方选择"卖水"而非"堵河"：

OpenAI 的内容合作伙伴计划：与 AP、Le Monde、Axel Springer 等签署授权协议
Google 扩展访问计划：为使用其内容的媒体提供流量补偿
Reddit/Stack Overflow 数据授权：直接向 AI 公司出售 API 访问权限

这种授权模式正在形成一个新的数据经济生态。对于高质量内容的生产者来说，拥有独特的、不可替代的数据资产，正在成为一种全新的商业护城河。问题在于，小型内容创作者往往缺乏与 AI 巨头谈判的议价能力——这进一步加剧了内容生态中的"马太效应"。

防御层4：技术反制手段

当 robots.txt 和法律手段不足以阻止恶意抓取时，还有一系列更强硬的技术反制措施。这些手段的核心理念是：从被动声明转向主动检测和拦截。

速率限制与行为分析

通过监控请求模式来识别异常的爬虫行为。AI 爬虫的典型特征包括：请求频率极高、访问路径过于规律（按字母顺序遍历）、不加载图片和 CSS、没有鼠标移动和点击事件等。

nginx

# Nginx 配置：限制可疑爬虫的请求速率
limit_req_zone $binary_remote_addr zone=ai_bot:10m rate=2r/s;

server {
    # 针对已知 AI 爬虫 User-Agent
    if ($http_user_agent ~* "(GPTBot|ClaudeBot|CCBot|Bytespider)") {
        set $limit_bot 1;
    }

    location / {
        if ($limit_bot) {
            limit_req zone=ai_bot burst=5 nodelay;
        }
        proxy_pass http://backend;
    }
}

JavaScript 渲染墙

由于大多数 AI 爬虫不执行 JavaScript（它们通常使用简单的 HTTP 客户端而非完整的浏览器引擎），可以将关键内容通过客户端渲染保护。这种方法的逻辑是：真实用户使用浏览器可以正常加载动态内容，而爬虫只能获取到空的骨架页面。

javascript

// 核心内容通过 JS 动态加载，静态 HTML 中只有骨架
document.addEventListener('DOMContentLoaded', () => {
  if (isHumanLikeBehavior()) {
    fetch('/api/content?id=article-123')
      .then(res => res.json())
      .then(data => {
        document.getElementById('content').innerHTML = data.html;
      });
  }
});

内容指纹（Canary Tokens）

在文章中嵌入不可见的唯一标记文本，一旦这些标记出现在 AI 模型的输出中，就能证明内容被非法使用：

text

你的文章正文内容...

<!-- 隐藏的指纹标记 -->
<span style="position:absolute;left:-9999px">
  QBT-TRACE-7f3a2b1e-article-20260424
</span>

蜜罐页面（Honeypot Pages）

创建专门的诱饵页面，通过 CSS display:none 的链接指向它们。普通用户看不到这些链接，但爬虫会跟随并暴露自身：

html

<!-- 普通用户看不到这个链接，但爬虫会跟随 -->
<a href="/honeypot/trap-page" style="display:none">
  exclusive premium content
</a>

发布者的两难困境

这场攻防战让内容发布者面临一个痛苦的两难选择：

如果完全屏蔽 AI 爬虫：

✅ 保护了内容不被用于训练
❌ 可能在 AI 驱动的搜索中失去可见性（如 Perplexity、Google AI Overview）
❌ 竞争对手的内容（如果未屏蔽）会替代你成为 AI 的知识来源

如果允许 AI 抓取：

✅ 内容可能出现在 AI 回答中，带来品牌曝光
❌ 直接流量减少（用户在 AI 中就能得到答案）
❌ 失去对内容分发的控制

这本质上是一个囚徒困境——当所有人都屏蔽时，AI 模型质量下降，对所有人有利；但如果只有你屏蔽而别人不屏蔽，你只是把市场份额让给了竞争对手。

更深层的矛盾在于：AI 搜索（如 Google AI Overview、Perplexity）正在成为用户获取信息的主要入口。如果你的内容完全不被 AI 系统收录，你可能在新一代的搜索生态中彻底消失。这就像早期的搜索引擎时代——如果你不让 Google 索引你的网站，你就等于不存在。

每个内容发布者都需要根据自身的业务模式做出差异化决策：付费墙内容显然应该严格保护，而依赖广告模式的免费内容则需要在保护与曝光之间找到精细的平衡点。

最佳实践

综合技术、法律和商业三个维度，以下是 2026 年内容发布者应采取的五项关键行动：

1. 立即配置多层 robots.txt

不要只屏蔽一两个 User-Agent，而是维护一份持续更新的完整 AI 爬虫清单。同时配合 HTML Meta 标签提供页面级控制。

2. 部署行为检测防御

启用 Cloudflare AI Labyrinth 或同类服务。纯声明式防御（robots.txt）远远不够，必须加入能检测和响应异常行为的主动防御机制。

3. 建立法律护城河

在网站的服务条款（ToS）中明确禁止 AI 训练用途的数据抓取。这虽然不能直接阻止技术上的爬取，但为日后的法律追责提供了依据。

4. 实施内容指纹追踪

在你的核心内容中嵌入 Canary Tokens（金丝雀令牌）。一旦发现你的独有内容出现在某个 AI 模型的输出中，你就有了版权侵权的证据。

5. 评估授权合作的可能性

如果你拥有大规模的高质量内容（如新闻、学术论文、专业数据库），主动与 AI 公司谈判数据授权协议可能比被动防御更有利。将数据变成资产，而非只是被掠夺的资源。

常见问题 (FAQ)

AI 爬虫与传统搜索引擎爬虫有什么区别？

传统搜索引擎爬虫（如 Googlebot、Bingbot）抓取内容后建立索引，当用户搜索时将流量导向原始网站，形成互利关系。AI 爬虫抓取内容后用于训练模型，模型直接生成回答，用户可能永远不会访问原始网站。核心区别在于：搜索爬虫引流，AI 爬虫截流。

如果我的网站已经被抓取过了怎么办？

已经被抓取的内容无法"撤回"。但你可以：(1) 立即更新 robots.txt 阻止后续抓取；(2) 检查你的内容是否出现在 AI 输出中（使用指纹追踪）；(3) 根据服务条款和版权法寻求法律救济；(4) 向 AI 公司提交数据删除请求（部分公司如 OpenAI 提供此渠道）。

Cloudflare AI Labyrinth 会不会影响正常的 SEO？

不会。AI Labyrinth 只针对被识别为 AI 爬虫的请求触发。合法的搜索引擎爬虫（Googlebot、Bingbot）和普通用户访问不受影响。Cloudflare 使用多维度的行为分析来区分不同类型的访客。

小型网站有必要防御 AI 爬虫吗？

有必要，特别是如果你的网站包含原创的专业内容。AI 爬虫不区分网站大小，任何公开可访问的内容都可能被抓取。至少应该配置 robots.txt 并添加 Meta 标签作为基础防线。如果使用 Cloudflare，开启 AI Labyrinth 几乎零成本。

未来 AI 抓取的趋势会怎样？

预计会出现三大趋势：(1) 授权模式常态化——更多 AI 公司会像购买软件许可证一样购买训练数据授权；(2) 技术军备竞赛升级——AI 爬虫会变得更善于伪装，防御工具也会更智能；(3) 法律框架明确化——各国将陆续出台针对 AI 训练数据使用的专门立法，结束目前的灰色地带。

总结

AI 爬虫与内容发布者之间的这场博弈，本质上是对互联网内容经济模型的一次根本性挑战。持续了 30 年的"爬取-索引-导流"社交契约正在瓦解，新的规则尚未完全形成。

对于内容发布者而言，被动等待不是选项。你需要从今天开始构建多层防御体系：用 robots.txt 做基础声明，用 AI Labyrinth 做主动防御，用法律条款做最后保障，用内容指纹做证据留存。

同时也要清醒地认识到，这不仅是一场技术对抗，更是一个需要整个行业重新达成共识的系统性问题。AI 需要高质量的数据来进步，内容创作者需要公平的回报来持续产出——找到平衡点，才是最终的解法。

👉 探索 AI 安全工具