robots.txt 是什么？robots.txt 写法与 SEO 收录规则详解

📍 WDQWDWQD987AAAAA:216.73.216.55
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /7868b3ef4808.html
📄

robots.txt 是网站根目录下的一个纯文本文件，用来告诉搜索引擎爬虫哪些页面可以抓取、哪些页面不应抓取。它是最基础也最容易被忽视的 SEO 配置文件之一，正确设置 robots.txt 能帮助搜索引擎更高效地发现和收录网站内容。

robots.txt 的基本语法

robots.txt 由若干条规则组成，常用的指令包括：

• User-agent：指定规则适用的爬虫名称，如 Googlebot、Baiduspider，使用 * 表示所有爬虫。
• Disallow：禁止抓取的路径，例如 Disallow: /admin/ 表示不允许抓取 admin 目录。
• Allow：允许抓取的路径，常用于在全局禁止的情况下开放特定目录。
• Sitemap：声明网站地图地址，便于爬虫快速发现页面。

robots.txt 常见使用场景

网站后台、搜索结果页、购物车、用户个人中心等页面通常不需要被收录，可以通过 Disallow 屏蔽；同时应保留 CSS、JS 等静态资源的抓取权限，避免影响搜索引擎对页面质量的判断。需要注意的是，robots.txt 只是抓取协议，并不能阻止页面被索引，若需彻底禁止收录，应配合 noindex 标签使用。

编写 robots.txt 的注意事项

1. 文件必须放置在网站根目录，文件名全部小写。
2. 规则按路径前缀匹配，注意结尾斜杠的写法差异。
3. 不要使用 Disallow: / 屏蔽整站，除非网站确实需要临时下线。
4. 修改后使用搜索引擎的 robots.txt 测试工具验证，避免误屏蔽重要页面。

合理配置 robots.txt 是 SEO 基础工作的重要一环，建议定期检查规则是否与网站结构保持一致。