做西安网站开发这几年，我们遇到过一个特别典型的场景：客户花了不少预算把网站做得漂漂亮亮，上线三个月，搜索引擎收录却只有首页一条。排查半天，问题既不在服务器，也不在代码，而是根目录里那个几十字节的 robots.txt 写歪了。

今天，陕西星环深索的技术小伙伴就用大白话聊聊：robots.txt 到底该怎么写，才能让搜索引擎「进得来、看得懂、不乱爬」。

一、robots.txt 是啥？网站的「门卫大爷」

简单说，它是放在网站根目录下的一个纯文本文件（必须能通过 https://你的域名/robots.txt 直接打开），用来告诉搜索引擎爬虫：哪些目录可以进，哪些别乱逛。

注意，它是「建议书」而不是「门锁」。守规矩的搜索引擎会遵守，但恶意爬虫压根不看。所以千万别拿它来藏隐私文件。

二、正确写法的基本骨架

一个规范的 robots.txt 通常长这样：

User-agent: *
Disallow: /admin/
Allow: /admin/public/
Sitemap: https://www.example.com/sitemap.xml

  • User-agent：针对哪个爬虫，* 代表所有爬虫。
  • Disallow：禁止抓取的路径，留空表示全站放开。
  • Allow：在禁止范围内开个「小门」，路径更长者优先，优先级高于 Disallow。
  • Sitemap：顺手告诉爬虫站点地图在哪，收录效率直接起飞。

三、90% 的人踩过的 5 个坑

  • 文件名写错：只能是 robots.txt，全小写，必须放在根目录。写成 Robots.TXT 或者丢进 /public/ 子目录，等于没写。
  • Disallow: / 一键封站：本想屏蔽某个目录，结果手滑只写了一个斜杠，整站从搜索引擎里消失。上线前一定要用站长平台的 robots 测试工具跑一遍。
  • 拿它挡隐私：把后台、测试页、接口文档写进 Disallow，看着像「保护」，其实是「公告」——等于告诉别人这里有东西。真正的做法是加权限校验。
  • 忘了 AI 爬虫：如今 GPTBot、ClaudeBot、CCBot、Bytespider 满天飞。做 ai智能体开发 的客户经常问：我的内容能不能不给大模型白嫖？答案是可以按 User-agent 单独声明屏蔽。
  • 改完不验证：不同搜索引擎对通配符 * 和结尾 $ 的支持程度不一样，改完记得在百度搜索资源平台、Google Search Console 里实测抓取。

四、AI 时代的新写法

如果你的站点不希望内容被用于大模型训练，可以这样写：

User-agent: GPTBot
Disallow: /

User-agent: CCBot
Disallow: /

反过来，如果你希望 AI 搜索能引用你的内容，就别一刀切全封。我们在给客户做 ai智能体开发 和西安软件开发项目时，通常会按「内容站开放、数据接口收紧」的思路分目录配置，既保住流量，也守住数据。

五、写在最后

robots.txt 只有几十个字节，却直接决定搜索引擎能不能顺利爬完你的站。在西安网站开发、西安小程序开发 项目的上线检查清单里，我们都会把它列进去。

如果你不确定自家网站的 robots.txt 写得对不对，欢迎找陕西星环深索的技术同学帮你免费看一眼——毕竟门卫站错了位置，里面装修得再好，也没人进得来。