robots.txt写法完整指南:语法规则与常见示例

📍 WDQWDWQD987AAAAA:216.73.216.89
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /cbd32b7aebb6.html
📄 编写robots.txt文件是每个网站管理员和SEO从业者必须掌握的基础技能。这个文件直接决定了搜索引擎爬虫能否访问你的网站页面,以及能访问哪些内容。正确设置robots.txt不仅能优化抓取效率,还能避免重复内容被索引。这篇文章将从基础语法到实际案例,帮你避开编写过程中最常见的坑。 一、什么是robots.txt?它的核心作用 robots.txt是一个放置在网站根目录的纯文本文件。当搜索引擎爬虫访问一个网站时,它会首先读取这个文件,根据文件中的指令决定哪些内容可以抓取,哪些应该跳过。 它的核心作用有两个: - 控制爬虫抓取的边界:明确告诉爬虫哪些目录或文件不允许访问,从而避免抓取无意义的页面,节省服务器资源。 - 引导爬虫关注重要内容:通过Disallow和Allow指令,让爬虫集中抓取对SEO有价值的页面,提升索引效率。 对于SEO来说,robots.txt还能防止重复内容被收录,比如过滤分页参数、排序参数等。但需要清楚一点:爬虫遵循robots.txt是自愿行为,正规搜索引擎都会遵守,但恶意爬虫可能忽略。 二、robots.txt语法详解 robots.txt文件语法非常简洁,核心指令只有几个,但每个都有严格的使用规则。 User-agent指令:用于指定该规则适用的爬虫。可以设置特定的爬虫名称,比如Googlebot,也可以用星号表示所有爬虫。注意User-agent必须写在规则组的开头,每个组只能有一个User-agent。 Disallow与Allow指令:Disallow表示禁止访问的路径,Allow表示允许访问的路径。两者可以配合使用,先通过Disallow禁止一个大范围,再用Allow开放某个子路径。路径区分大小写,且必须以斜杠开头。 Sitemap指令:用于指定网站地图的地址。这个指令不依赖User-agent,可以放在文件任意位置,但通常放在末尾。 注释与空行规则:注释以井号开头,爬虫会忽略注释和空行。不同规则组之间建议用空行分隔,提高可读性。 三、常见robots.txt配置示例 以下配置可以直接用于实际项目,但需要根据自身网站结构调整。 禁止所有爬虫访问整个网站: User-agent: * Disallow: / 这个配置会让所有爬虫无法访问任何页面,可用于开发环境或临时关闭网站抓取。 仅禁止特定目录或文件: User-agent: * Disallow: /admin/ Disallow: /tmp/ Disallow: /private.html 这种写法只封锁你不想被看到的路径,其他内容正常抓取。常用于后台管理页面、临时文件或敏感页面。 允许部分爬虫访问特定内容: User-agent: Googlebot Allow: /public/ User-agent: * Disallow: / 这个场景下,只有Google爬虫能访问/public/目录,其他爬虫全部被拒绝。适合需要定向开放给特定搜索引擎的场合。 指定站点地图: Sitemap: https://www.example.com/sitemap.xml 直接告诉爬虫站点地图的完整URL,有助于爬虫更快发现新页面。一般放在文件最后,不影响其他指令。 四、编写robots.txt的常见错误与注意事项 很多网站管理员在编写时容易犯几个典型错误,这些错误往往导致robots.txt失效或误伤关键内容。 语法错误导致无效:最常见的是User-agent和Disallow写在同一行,或者路径前缺少斜杠。爬虫解析失败时会忽略整条规则,等于允许所有内容访问。 误封关键路径:有些开发者不小心把CSS、JS或图片目录通过robots.txt禁止了,导致搜索引擎抓取页面时看不到样式,影响页面的渲染评分。例如:Disallow: /css/ 会让Google无法正确评估页面布局。 区分大小写问题:路径是大小写敏感的。如果实际目录是Admin但写成了admin,规则将无法生效。建议全部使用小写路径,保持一致性。 robots.txt不是安全机制:很多人试图用它隐藏敏感页面,比如后台登录地址或用户数据。但恶意爬虫会忽略robots.txt,因此真正的敏感内容应当通过登录验证和IP白名单来保护。 常见问题 如何设置robots.txt不让搜索引擎爬取整个网站? 在文件里写入:User-agent: * 和 Disallow: / 。注意这两行必须单独占一行,User-agent和Disallow之间不能有空格。保存后上传到网站根目录即可。 robots.txt可以阻止所有爬虫吗? 理论上可以,通过为每个已知爬虫名称声明User-agent并设置Disallow: /。但无法保证所有恶意爬虫都会遵守,因为它们可以伪装名称或直接忽略规则。想彻底阻止,还需要配合其他手段如防火墙或验证码。 robots.txt和meta robots标签有什么区别? robots.txt是网站根目录的文件,控制爬虫是否允许访问某个页面。而meta robots标签是写在该页面HTML代码中的指令,控制爬虫是否索引该页面或跟踪链接。两者配合使用效果最好:robots.txt决定是否能爬,meta robots决定爬了之后是否收录。 总结 正确编写robots.txt文件,核心在于理解每条指令的语法边界,并针对网站的实际结构做出判断。建议你在修改后,用Google Search Console或Bing Webmaster Tools里的测试工具验证一遍,确保没有误封重要页面。另外,不要把robots.txt当作安全大门,真正的敏感数据要靠服务器权限和加密保护。最后,定期检查你的robots.txt文件,随着网站改版及时更新,才能持续发挥它优化抓取、提升索引效率的作用。
图1 图2

nginx