robots.txt 生成
整理抓取规则，生成一份 robots.txt。
浏览器本地处理输入规则输出文本
- 1添加输入
- 2调整设置
- 3获取结果
工具输入和文件在当前浏览器处理，不会上传。
开始之前
生成一个 robots.txt 爬虫分组，配置明确的 Allow、Disallow 路径及可选站点地图 URL。robots 指令不是访问控制或隐私保护措施。
如何使用
- 在“规则”中粘贴内容，也可以先填入示例试用。
- 核对“爬虫标识”、“站点地图 URL（可选）”，再选择“生成 robots.txt”。
- 查看 文本 结果，确认无误后使用结果区提供的复制或下载操作。
支持范围与限制
粘贴文本最多 1 MiB；处理后请核对结果。
操作示例
示例输入
Disallow: /private/ Allow: /public/
示例参数
{
"agent": "*"
}示例输出
User-agent: * Disallow: /private/ Allow: /public/
出现问题时
请使用已说明的输入格式，并遵守界面限制。用于其他文档或应用前请复核结果。修改输入会将旧结果标为已过期；运行失败会清除旧结果。
常见问题
我的文件会上传吗？
不会。文件和工具输入在当前浏览器处理；站内切换可在同一标签页暂存工作状态。刷新或关闭标签页后无法恢复，请及时下载需要保留的结果。
需要检查结果的哪些方面？
生成一个 robots.txt 爬虫分组，配置明确的 Allow、Disallow 路径及可选站点地图 URL。robots 指令不是访问控制或隐私保护措施。