robots.txt编写指南：从规则到实战的完整教程

📍 WDQWDWQD987AAAAA:216.73.216.45
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /6a582cd5d8ad.html
📄

robots.txt 是网站与搜索引擎爬虫之间沟通的第一道协议。正确编写 robots.txt，不仅能引导爬虫高效抓取核心页面，还能避免敏感目录被索引。然而，很多站长因为规则写错，导致整站被屏蔽或收录异常。本文从基础语法到实战案例，帮你系统掌握 robots.txt 编写方法。

一、robots.txt 的基本结构

一个标准的 robots.txt 文件由若干条记录组成，每条记录以 User-agent 开头，后跟 Allow 或 Disallow 规则。文件必须放在网站根目录，且文件名全小写。核心字段包括：

• User-agent：指定规则适用的爬虫，如 Baiduspider、Googlebot，用 * 表示所有爬虫。
• Disallow：禁止抓取的路径，留空表示允许全部。
• Allow：允许抓取的路径，常用于覆盖 Disallow 规则。
• Sitemap：声明网站地图地址，建议放在文件末尾。

二、编写时的常见误区

许多人在编写 robots.txt 时容易踩坑。例如，Disallow: / 会屏蔽整站，若误用将导致搜索引擎无法抓取任何页面。另外，规则匹配区分大小写，路径需以 / 开头，且不支持通配符以外的正则表达式。还要注意，robots.txt 只是建议性协议，不能阻止恶意爬虫，也不能替代密码保护。

三、实战编写示例

假设你希望允许所有爬虫抓取，但屏蔽后台目录和临时文件，可以这样写：

1. User-agent: *
2. Disallow: /admin/
3. Disallow: /tmp/
4. Allow: /
5. Sitemap: https://www.example.com/sitemap.xml

如果只想针对百度爬虫设置规则，则单独写一组 User-agent: Baiduspider 的记录。测试时，可使用百度搜索资源平台的 robots 检测工具验证规则是否生效。

四、上线前的检查清单

• 确认文件可访问：浏览器打开域名/robots.txt 应返回 200 状态码。
• 检查是否误屏蔽 CSS、JS 等渲染资源。
• 确保 Sitemap 地址正确且已提交。
• 定期查看爬虫抓取日志，观察规则是否达到预期效果。

掌握 robots.txt 编写并不难，关键在于理解规则逻辑并养成上线前测试的习惯。合理配置能让搜索引擎更高效地发现优质内容，为网站 SEO 打下坚实基础。