胜洋商务
不做传统官网,专做AI收录官网
免费检测
robots.txt 生成器
生成可用的爬虫规则,支持多分组与 Sitemap,一键复制或下载 robots.txt。
网站地址
用于生成 Sitemap 行(可留空)。
规则分组
新增分组
常用建议(可选)
站点静态页在 /html/(Allow /html/,禁用 index.php 动态入口)
屏蔽后台/安装/源码目录(admin、install、include、source、template、cache)
放行静态资源目录(skin、uploads、brand、_next)
Sitemap(可选)
生成 robots.txt
重置
robots.txt 预览
复制
下载