robots.txt写法详解：搜索引擎爬虫规则编写指南

📍 WDQWDWQD987AAAAA:216.73.216.45
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /fa1ad3d510c6.html
📄

robots.txt 是网站与搜索引擎爬虫沟通的第一道协议，正确的 robots.txt 写法能帮助爬虫高效抓取，避免收录敏感页面。本文将系统讲解 robots.txt 的写法规则、常见指令与避坑技巧。

robots.txt 基本语法结构

一个标准的 robots.txt 文件由若干条记录组成，每条记录以 User-agent 开头，后跟 Allow 或 Disallow 指令。写法示例如下：

• User-agent: * 表示适用于所有爬虫
• Disallow: /admin/ 表示禁止抓取 admin 目录
• Allow: /public/ 表示允许抓取 public 目录

注意：每条指令占一行，冒号后加一个空格，路径区分大小写。Allow 与 Disallow 同时存在时，优先匹配路径更长的规则。

常见指令与写法要点

1. User-agent 的写法

定义规则适用的爬虫名称，如 Baiduspider、Googlebot。使用 * 代表所有爬虫。多个 User-agent 可共用一组规则，需连续书写。

2. Disallow 与 Allow

Disallow 用于禁止抓取，Allow 用于允许抓取。写法上路径需以 / 开头，支持通配符 * 和结尾符 $。例如：
Disallow: /*.pdf$ 禁止抓取所有 PDF 文件。

3. Sitemap 指令

在文件末尾添加 Sitemap: https://www.example.com/sitemap.xml，帮助爬虫发现站点地图。

robots.txt 写法的常见误区

1. 不要用 Disallow 屏蔽 CSS/JS 文件，否则影响渲染抓取。
2. 不要写 Disallow: / 来封禁全站，应使用 403 或 noindex。
3. 规则不能阻止页面被索引，仅阻止抓取，敏感内容需配合密码保护。

掌握 robots.txt 写法后，建议使用百度搜索资源平台或 Google Search Console 的 robots.txt 测试工具验证规则，确保爬虫行为符合预期。