Robots.txt在线生成器
可视化配置搜索引擎爬虫抓取协议，一键生成robots.txt，助力网站SEO收录管理
快速预设模板
选择爬虫User-agent
按下回车键添加自定义爬虫标识
抓取放行/屏蔽规则
站点地图 Sitemap
高级抓取配置
提示爬虫两次访问网站的间隔时长，减轻服务器压力
主要适用于Yandex搜索引擎，指定优先收录域名
生成后的robots.txt内容
💡 基础使用说明
- User-agent：用来匹配对应搜索引擎爬虫程序
- Disallow：禁止爬虫访问、抓取的网站路径
- Allow：允许爬虫抓取路径，优先级高于屏蔽规则
- Sitemap：填写网站地图链接，辅助搜索引擎收录页面
- robots.txt文件必须放置在网站根目录，访问地址：域名/robots.txt
⚠️ 重要提醒
robots.txt仅属于爬虫友好提示协议，恶意爬虫、采集程序会无视该规则；网站内身份证、后台、会员隐私等敏感资源，不能只依靠robots屏蔽，需要服务器权限、登录鉴权等方式保护。
📖 工具使用说明
- 1、优先选择适配网站类型的预设模板，快速加载成熟robots配置，降低SEO配置门槛；
- 2、勾选需要生效的搜索引擎爬虫，支持百度、谷歌、必应、GPTBot、Facebook爬虫等主流UA；
- 3、添加多条路径规则，按需设置Allow放行或者Disallow屏蔽目录、接口、静态资源；
- 4、填写站点地图链接，搜索引擎可通过sitemap快速抓取网站有效页面，提升收录效率；
- 5、Crawl-delay用来控制爬虫访问频率，适合服务器带宽小、负载较高的站点；
- 6、配置完成后直接复制文本，或者下载txt文件，上传至网站根目录即可生效；
- 7、工具全部运算在本地浏览器执行，不会上传网站域名、爬虫配置、路径信息到外部服务器；
- 8、适合SEO优化人员、站长、独立博客、企业官网、电商、前后端分离SPA站点配置robots协议。