robotstxt 是网站与搜索引擎爬虫之间的第一道沟通协议,命名源自站点根目录下的 robots.txt 文件。它的核心作用是告诉爬虫哪些目录可以抓取、哪些应当回避,从而保护隐私页面、节省服务器资源,并引导搜索引擎更好地收录内容。
robotstxt 文件必须放在网站根目录,文件名全小写,且只能有一条生效。基本语法由User-agent、Disallow、Allow 和 Sitemap 等指令组成。User-agent 指定规则适用的爬虫,Disallow 声明禁止抓取的路径,Allow 用于在禁止目录中开白名单,Sitemap 则帮助爬虫发现站点地图。
很多站点在配置 robotstxt 时容易犯以下错误:误用 Disallow: / 导致整站被屏蔽;忘记 robots.txt 区分大小写;在文件里写注释时使用错误符号;把 sitemap 写成小写而爬虫无法识别。此外,robots.txt 并不能阻止页面被索引,它只限制抓取,若需彻底移除页面,应配合 noindex 元标签或 HTTP 头使用。
正确理解 robotstxt 的语义和限制,是网站技术 SEO 的基础工作。通过合理配置 robots.txt,既能让爬虫高效抓取核心内容,又能避免敏感路径暴露,为站点长期稳定运营提供保障。