robots.txt generator

robots.txt 生成器

用可视化表单配置搜索引擎抓取规则，实时预览生成的 robots.txt，并支持复制或下载文件。所有逻辑只在当前浏览器执行。

纯前端实时输出不做远程校验

常用模板

本工具不会抓取你的网站，不校验远程 robots.txt，不调用后端，也不会把配置写入浏览器存储。

每个规则组会输出一个 User-agent 区块，并包含 Allow、Disallow 和可选 Crawl-delay 指令。

每条 Sitemap 会追加为独立的 Sitemap 指令，放在抓取规则之后。

空 User-agent、Allow/Disallow 重复路径和非法 Crawl-delay 会在复制或下载前提示。

会校验线上站点吗？

不会。本工具只根据页面配置生成文本，不请求远程 URL。

Allow 和 Disallow 冲突时谁优先？

不同爬虫实现可能不同，所以页面会提示完全重复的路径，由你确认最终策略。

输出会被保存吗？

不会。内容只保留在当前页面内存中，复制、下载、清空或刷新后由你自行决定。