② 自定义规则（允许/禁止某个路径）
③ Sitemap 与其他
robots.txt 使用方法
- 根据需要勾选搜索引擎并添加屏蔽规则，点击按钮复制内容；
- 在网站根目录新建纯文本文件，命名为 robots.txt（全小写）；
- 粘贴内容并保存，确保可通过 https://你的域名/robots.txt 直接访问；
- 到百度搜索资源平台、Google Search Console 检测与提交。
注意：robots.txt 是"君子协议"，正规搜索引擎都会遵守，但无法阻止恶意爬虫；真正的隐私页面应加密码或服务端鉴权。修改后搜索引擎可能需要数天到数周重新抓取生效。
常见问题
Disallow 和 noindex 有什么区别？
robots.txt 的 Disallow 阻止蜘蛛抓取该URL，但URL可能仍被索引（显示"因为此网站的robots.txt"）；想彻底不收录应页面内加 noindex 标签。
后台目录 /admin 要屏蔽吗？
建议屏蔽，但更重要的是后台本身要有登录验证；robots 里写出来反而等于公开告诉别人后台路径，安全敏感站点也可以选择不写。
规则写错了会怎样？
最坏情况是整站被禁止抓取导致不收录；生成后建议用搜索平台的 robots 测试工具验证再上线。