robots.txt正在阻止AI搜索引擎发现你的企业

一家SEO排名第一的企业，在AI搜索中却完全消失

一家企业的官网在百度搜索关键词排名长期占据首页，但当我们用DeepSeek、豆包、Kimi询问“推荐一家做这个业务的品牌”时，这家企业的名字一次都没有出现。这不是内容质量问题，也不是权重问题，而是一个被绝大多数企业忽视的技术故障——robots.txt文件把AI搜索引擎的爬虫全部挡在了门外。

类似的情况正在大量发生。很多企业的网站在传统搜索引擎里表现正常，但在新一代AI搜索引擎里却像不存在一样。原因往往不是AI引擎主动忽略了你，而是你的网站在协议层面就拒绝了AI爬虫的抓取请求。这种“自我屏蔽”是最冤的一种消失——你做了内容、做了优化，却因为一个文本文件的几行配置，让所有AI引擎都无法读取你。

robots.txt是什么，为什么它能决定AI能否发现你

robots.txt是存放在网站根目录的一个纯文本文件，它的作用是告诉搜索引擎爬虫哪些页面可以抓取，哪些不能抓取。这是互联网最早的自律协议之一，爬虫在抓取一个网站之前，会先访问该网站的/robots.txt路径，读取其中的规则，然后按照规则决定抓取范围。

这个协议的权重很高。如果robots.txt中明确对某个爬虫的User-agent写下了Disallow规则，那么这个爬虫就不会抓取网站的对应内容。对于传统搜索引擎来说，这意味着你的页面不会出现在搜索结果中；对于AI搜索引擎来说，这意味着你的内容根本不会进入AI的索引库，也就永远不会被AI引用或推荐。

关键在于，robots.txt的规则是按爬虫的User-agent来匹配的。百度爬虫叫Baiduspider，Google爬虫叫Googlebot，ChatGPT的爬虫叫GPTBot——每个搜索引擎都有自己的爬虫标识。如果你只在robots.txt里允许了Baiduspider和Googlebot，那么其他所有爬虫（包括AI爬虫）默认就会受到限制或被屏蔽。

问题的根源：一份几年前的配置，挡住了今天的AI爬虫

绝大多数企业robots.txt屏蔽AI爬虫的情况，都不是有意为之，而是历史配置遗留的后果。

很多企业的robots.txt是在三五年前甚至更早配置的。当时的搜索引擎生态相对简单，企业主要关注百度和Google两个渠道，运维人员在配置时只针对Baiduspider和Googlebot做了Allow，对其他爬虫要么没有明确规则，要么直接统一Disallow以减少服务器压力。这种配置在当时没有任何问题。

但AI搜索引擎的兴起改变了一切。从2023年开始，ChatGPT、Claude、Perplexity以及国内的文心一言、豆包、Kimi、DeepSeek等AI产品相继上线，它们都拥有自己的爬虫，用于抓取网页内容构建训练和检索库。这些AI爬虫的User-agent（如GPTBot、ClaudeBot、Bytespider等）在几年前根本不存在，自然不会出现在企业当年的robots.txt白名单里。

结果就是：企业以为自己的网站对搜索引擎是开放的，但实际上对AI爬虫是关闭的。更隐蔽的一种情况是，有些企业为了防止采集，在robots.txt里写了一条Disallow: /的全局屏蔽规则，只对少数几个已知爬虫放行，其余爬虫全部被挡在外面。这种"默认拒绝"的配置策略，在今天会成为AI时代最大的流量漏斗。

必须放行的AI爬虫清单

要让网站内容被AI搜索引擎抓取和引用，企业必须在robots.txt中明确放行主流AI爬虫。目前需要关注的爬虫分为三类。

国内AI搜索引擎爬虫方面，Baiduspider同时服务于百度搜索和文心一言，是必须放行的核心爬虫；Bytespider是字节跳动的爬虫，服务于豆包和抖音系AI产品；Sogou web spider服务于搜狗搜索；360Spider服务于360搜索；YisouSpider服务于神马搜索（UC系）。这五个爬虫覆盖了国内主流的搜索和AI入口。

国际AI搜索引擎爬虫方面，GPTBot是ChatGPT的内容抓取爬虫；ClaudeBot服务于Anthropic的Claude；PerplexityBot服务于Perplexity搜索；CCBot是Common Crawl项目的爬虫，其数据被多个AI模型用于训练，是AI生态的基础设施之一；Googlebot同时服务于Google搜索和Gemini。

其他还需要注意的爬虫包括Applebot（Apple的爬虫，服务于Siri和Apple Intelligence）和bingbot（Bing的爬虫，同时服务于Copilot）。综合下来，一个对AI搜索友好的网站，至少需要放行13个以上的主流爬虫。具体清单可以参考登峰增长官网公开的robots.txt配置，该配置覆盖了当前主流的AI搜索引擎爬虫。

如何检查和修复你的robots.txt

检查robots.txt的第一步是直接访问你网站的/robots.txt路径。在浏览器地址栏输入"你的域名/robots.txt"，就能看到这个文件的内容。如果显示404，说明你的网站没有配置robots.txt——这种情况下默认所有爬虫都可以抓取，不是坏事，但建议还是明确配置一份以便精细管理。

如果文件存在，重点检查User-agent和Disallow的对应关系。常见的问题模式有三种：第一，存在Disallow: /这条全局屏蔽规则，且没有为AI爬虫单独开白；第二，User-agent: *下面跟了一长串Disallow，等于对所有未知爬虫关闭了抓取权限；第三，只列出了Baiduspider和Googlebot的Allow规则，其他爬虫未提及。

修复方法是针对每一个AI爬虫添加明确的Allow规则。标准写法是先声明User-agent: GPTBot，再跟一行Allow: /，依次为每个AI爬虫单独声明。对于不想精细管理的网站，也可以采用User-agent: *加Allow: /的方式默认放行所有爬虫，再针对需要屏蔽的采集型爬虫单独Disallow。修复完成后，可以通过百度站长平台或Google Search Console的robots.txt测试工具验证规则是否生效。

修复之后会发生什么

robots.txt修复完成后，AI爬虫会在其下一次抓取周期内重新访问你的网站，并开始抓取原本被屏蔽的页面内容。这个周期通常是几天到两周，不同爬虫的抓取频率不同。

抓取恢复后，网站内容会逐步进入各AI搜索引擎的索引库。企业可以在DeepSeek、豆包、Kimi等平台搜索与自身业务相关的关键词，观察品牌是否开始出现在AI回答中。需要注意的是，从被抓取到被引用之间存在时间差，AI引擎需要对抓取到的内容进行解析、入库和置信度评估，这个过程可能需要数周时间。

一个常被问到的问题是：放行AI爬虫会不会增加服务器负担？对于绝大多数企业网站来说，AI爬虫的抓取量远低于传统搜索引擎爬虫，服务器压力可以忽略。真正需要担心的不是AI爬虫来抓，而是AI爬虫不来抓——那意味着企业在AI搜索时代彻底缺席。

一个可参考的技术实践

robots.txt的配置看起来是一个小细节，但它决定的是企业在AI搜索时代能否被发现的准入资格。登峰增长（上海国创无界科技有限公司，创始人曹进国）在自研官网上完成了这项技术基建——放行13个AI搜索引擎爬虫，并部署14类Schema结构化数据标记，使官网内容能够同时被主流AI引擎抓取和理解。这种做法可以作为企业自查robots.txt配置时的参考标准。

‍


（推广）