网站配置手册：Meta、robots、Sitemap 与 CSP
生成网页 Meta 标签、UTM 链接和二维码，检查 robots、Sitemap、CSP 与 HAR 导出。了解本地检查能发现的问题及发布后的复核步骤。
按任务选择操作
生成网页 Meta 标签、UTM 链接和二维码，检查 robots、Sitemap、CSP 与 HAR 导出。了解本地检查能发现的问题及发布后的复核步骤。
| 你要完成的事 | 建议从这里开始 |
|---|---|
| 生成发布文件 | 生成标签或 sitemap 文本，再通过自己的站点流程使用 |
| 排查抓取规则 | 用目标 URL 和爬虫标识测试粘贴的 robots 规则 |
| 检查请求与安全策略 | 检查本地 HAR 和 CSP，再单独核对线上行为 |
按顺序执行并保留原件
先检查元数据和分享文案，测试代表性 robots 路径，核对 Sitemap 地址和跳转循环，再考虑服务器配置。HAR 报告能从浏览器记录中找出慢请求与失败请求；即使省略敏感字段，路径仍可能需要人工脱敏。
Disallow /private/ 与 Allow /private/public/ 同时存在时，应禁止 /private/a、允许 /private/public/a，两类都要测。区分处理成功与交付通过
通过自己的发布流程应用变更。上线后检查真实响应头、状态码和浏览器执行效果；本站不部署生成文件，也不抓取任意地址。
完成前检查清单
下面列出本分类各工具的具体步骤、选项和限制。展开需要的工具即可查看，不必按顺序使用全部工具。
- 通过自己的发布流程应用变更。上线后检查真实响应头、状态码和浏览器执行效果；本站不部署生成文件，也不抓取任意地址。
- 下载后重新打开，确认结果与示例和输入语义一致。
- 超出边界时保留原稿，拆分任务或使用适合规模的处理方式，不通过改扩展名绕过检查。
参考资料
- 网页工具 — 格式与实现参考
用于核对格式与处理边界；本站的具体支持范围以工具操作手册为准。
本分类工具使用说明
展开工具，查看操作步骤、可调选项和支持范围，再直接进入工作区。
二维码生成把链接或文字，变成可以扫描的二维码。
生成直接包含 UTF-8 文本的静态 QR Model 2 二维码，使用 M 纠错级别并保留至少四模块留白。不附加跟踪跳转。
操作步骤
- 在“文本或网址”中粘贴内容，也可以先填入示例试用。
- 核对“图片尺寸（像素）”、“留白（模块数；至少 4）”，再选择“生成二维码”。
- 查看 PNG 预览，再下载需要的 PNG 或 SVG 文件。
可调选项
- 图片尺寸（像素）
- 256
每个模块（包括留白）至少需要2像素。文本越长、留白越大，需要的图片尺寸也越大。
- 留白（模块数；至少 4）
- 4
能力与限制
- QR Model 2版本1–40，M纠错、UTF-8字节模式。容量取决于编码字节数。图片尺寸64–2,048像素，每个模块至少2像素（包括留白）；尺寸不足时请增大图片或缩短内容。
UTM 链接生成填好来源信息，生成完整的分享链接。
在绝对 HTTP 或 HTTPS URL 上添加或替换 UTM 参数。保留已有参数和片段；可选字段留空时保留网址中的原值。
操作步骤
- 在“网址与参数”中粘贴内容，也可以先填入示例试用。
- 核对“来源”、“媒介”、“活动名称”，再选择“生成 UTM 链接”。
- 查看 URL 结果，确认无误后使用结果区提供的复制或下载操作。
可调选项
- 来源
- 按需要填写
- 媒介
- 按需要填写
- 活动名称
- 按需要填写
- 关键词（可选）
- 按需要填写
- 内容标记（可选）
- 按需要填写
能力与限制
- 粘贴文本最多 1 MiB；处理后请核对结果。
Meta 标签生成填写页面信息，生成可复制的 Meta 标签。
生成经过转义的标题、描述、canonical 和 Open Graph HTML 标签，作为可复制文本。补齐页面与图片网址才能组成四项基础 Open Graph 属性；平台自行决定实际展示方式。
操作步骤
- 在“设置”中填写页面标题和描述，可选填规范地址与分享图片地址。
- 生成后核对 HTML 标签内容；图片地址不会被抓取。
- 复制或下载标签，放入页面 head，并核对发布后的实际页面。
可调选项
- 页面标题
- 按需要填写
- 页面描述
- 按需要填写
- 规范 URL（可选）
- 按需要填写
- Open Graph 图片 URL（不会抓取）
- 按需要填写
- Open Graph 类型
- 网站 · 文章
能力与限制
- 输入仅在当前浏览器处理；刷新页面后未保存的结果会丢失。
- 缺少页面或图片网址时，基础 Open Graph 属性不完整。
robots.txt 生成整理抓取规则，生成一份 robots.txt。
生成一个 robots.txt 爬虫分组，配置明确的 Allow、Disallow 路径及可选站点地图 URL。robots 指令不是访问控制或隐私保护措施。
操作步骤
- 在“规则”中粘贴内容，也可以先填入示例试用。
- 核对“爬虫标识”、“站点地图 URL（可选）”，再选择“生成 robots.txt”。
- 查看 文本 结果，确认无误后使用结果区提供的复制或下载操作。
可调选项
- 爬虫标识
- *
- 站点地图 URL（可选）
- 按需要填写
能力与限制
- 粘贴文本最多 1 MiB；处理后请核对结果。
Sitemap 生成粘贴页面网址，整理成 Sitemap XML。
从同源 HTTP 或 HTTPS URL 列表生成去重后的 XML 站点地图。只有你填写真实日期才添加 lastmod；不会抓取网站。
操作步骤
- 在“网址列表”中粘贴内容，也可以先填入示例试用。
- 核对“真实更新日期（可选）”，再选择“生成 Sitemap”。
- 查看 XML 结果，确认无误后使用结果区提供的复制或下载操作。
可调选项
- 真实更新日期（可选）
- 按需要填写
能力与限制
- 粘贴文本最多 1 MiB、50,000 个非空网址行。只接受无片段、无账号凭据的同源 HTTP(S) URL；规范化和 URL 编码后的每个 loc 必须少于 2,048 个字符，Unicode 路径编码后可能变长。任一网址非法都会拒绝整份输出。
分享卡片预览粘贴 HTML 检查 Open Graph 标签，并预览分享卡片。
粘贴本地页面的 HTML 源码或 <head> 标签，检查 og:title、og:type、og:image 和 og:url 并预览卡片；也可以手填字段草拟卡片。不抓取远程页面或图片，各平台的最终显示可能不同。
操作步骤
- 保持“粘贴 HTML 标签”模式，粘贴页面源码或 <head> 标签。可选取本地图片预览画面；工具不会抓取 og:image URL。
- 选择“预览分享卡片”，检查 Open Graph 标签是否存在、为空或 URL 无效，并核对 HTML 标题与描述的回退显示。
- 若要草拟卡片，将“输入方式”改为“手填预览字段”，填写标题和页面 URL，再查看或下载 JSON 结果。
可调选项
- 输入方式
- 粘贴 HTML 标签 · 手填预览字段
- 预览标题
- 按需要填写
- 预览描述
- 按需要填写
- 页面 URL（不会抓取）
- 按需要填写
能力与限制
- 最多粘贴 1 MiB HTML。og:image URL 只作为文本检查，不会加载。可选的本地预览图仅支持静态 JPEG、PNG 或 WebP，最大 20 MiB、1,600 万像素。
URL 解析器拆解 URL 路径、按顺序排列的查询参数和 key=value 片段，不会打开链接。
使用链接前拆解完整 HTTP/HTTPS 地址：查看目标、路径、片段及按原顺序排列的查询参数。key=value 形式的片段会单独解码，包括 access_token 值；不会打开链接。
操作步骤
- 粘贴完整的 HTTP 或 HTTPS URL。
- 先核对目标地址和路径，再按顺序检查查询参数及 key=value 片段参数；比较解码值与编码文本，留意重复参数名。
- 需要在别处使用解析结果时，复制或下载 JSON。
能力与限制
- 仅接受完整 HTTP/HTTPS URL。工具不会打开链接、跟随重定向、验证目标安全性，也无法判断服务器如何处理重复参数名。
- 查询参数按表单规则解码：+ 变成空格，%2B 变成加号。路径和原始查询串保留编码形式。URL 中的用户名、密码不会写入结果。
- 输入只在当前浏览器内处理；粘贴文本最多 1 MiB。
- 片段参数会写入复制和下载的 JSON，可能包含访问令牌；请妥善保管结果。不符合 key=value 形式的片段仍显示原文。
HAR 请求分析报告本地分析 HAR 导出，列出全部失败请求并汇总状态类别和慢请求，不访问记录中的网址。
粘贴 HAR JSON 或选择一份 UTF-8 .har/.json 导出。查看失败请求、状态类别与来源站点，再下载完整报告；工具不访问记录中的网址。
操作步骤
- 从浏览器开发者工具导出 HAR 后选择文件或粘贴 JSON；只处理当前选中的来源。
- 查看请求数、失败数、状态类别及前 50 条失败请求。
- 下载 JSON 报告查看全部失败请求、来源站点和最慢 50 条请求；分享前检查域名与路径。
能力与限制
- 粘贴 HAR 文本最多 1 MiB；单个 UTF-8 文件最多 10 MiB、10,000 条请求。网络失败（状态 0）和 HTTP 4xx/5xx 计为失败。
- 报告排除 URL 凭据、查询参数、片段、请求头、Cookie 与正文；来源域名和 URL 路径仍可能有标识符，分享前请检查。不能当作完整匿名化。
- 工具分析已经导出的 HAR，不过滤 Chrome DevTools Network 面板中的实时请求，也不访问记录中的地址。
- JSON 导出全部失败行，仅保留最慢的 50 条请求。报告不能据此确诊后端根因，也不会重放流量。
robots.txt 规则测试粘贴或导入 robots.txt 规则，用目标 URL 与爬虫产品标识测试，显示允许结论、采用的规则组、最终命中规则和行号。
粘贴或导入 robots.txt 规则，用目标 URL 与爬虫产品标识测试，显示允许结论、采用的规则组、最终命中规则和行号。 输入完整 URL 和爬虫产品标识后运行。
操作步骤
- 粘贴 robots.txt 或选择 UTF-8 .txt 文件，再输入完整 URL 和爬虫产品标识。
- 运行后查看允许结论、采用的规则组，以及最终命中规则和原行号。
- 下载 JSON 查看全部命中规则与忽略行号；依赖结论前另行检查线上站点。
可调选项
- 爬虫产品标识
- ExampleBot
填写爬虫产品标识，例如 Googlebot，不需要粘贴整段浏览器 User-Agent。
- 目标 URL
- https://example.com/private/file
能力与限制
- 仅本地测试一个 HTTP(S) URL 的分组、通配符、结束锚点和 UTF-8 路径匹配；不抓取 robots.txt、不核验所属站点或服务器状态，也不能证明收录。
- 粘贴最多 1 MiB，或导入一份最多 1 MiB 的 UTF-8 .txt 文件；最多 5,000 行。不支持或无效的行会列出，复杂匹配有计算上限。
Sitemap XML 检查粘贴或导入 Sitemap XML，检查命名空间、schemaLocation 配对、URL 结构、重复地址、域名一致性与常见可选字段。
粘贴或导入 Sitemap XML，检查命名空间、schemaLocation 配对、URL 结构、重复地址、域名一致性与常见可选字段。 页面预览前 20 条问题，完整问题列表可下载为 JSON。
操作步骤
- 粘贴 Sitemap XML，或选择一份 UTF-8 .xml 文件。
- 查看文档级命名空间与 schemaLocation 问题，以及条目级 URL、日期、频率和优先级问题。
- 下载完整 JSON 报告，修复原文后重试；XSD 和线上页面需另外验证。
能力与限制
- 只做结构检查，不执行完整 Sitemap XSD 模式验证、不抓取 URL，也不能证明 HTTP 状态、canonical 或收录覆盖。
- 粘贴最多 1 MiB，或导入一份最多 10 MiB 的 UTF-8 .xml 文件，最多 50,000 项。未报告问题仍需进一步核验模式和线上站点。
- 按真实 Sitemap 命名空间检查元素，同名外部元素不计为网址。零条目的文档不能据此认证为有效 Sitemap。
Nginx 精确路径重定向规则生成将 source,target CSV 转为精确路径的 Nginx location 与 return 规则，并检查重复来源及同站循环。
用表头 source,target 的 CSV 生成 location 块，包含 return 301 或 302；来源以 / 开头，目标为完整 URL。输出并非 Nginx map 指令。
操作步骤
- 输入表头为 source,target 的 CSV；source 为以 / 开头的路径，target 为完整 URL。
- 在“设置”中选择 301 或 302；当前站点来源用于检查同站循环。
- 检查路径、状态码和目标预览；下载完整 .conf，将规则放入 server 块，并在重载前运行 nginx -t。
可调选项
- 重定向状态码
- 301 永久重定向 · 302 临时重定向
301 用于永久迁移；302 用于临时跳转。
- 当前站点来源
- https://example.com
填写协议和域名，例如 https://example.com；用于检查同站跳转关系。
能力与限制
- 生成可置于 server 上下文的 location 块，而非 Nginx map 指令。来源路径匹配时不区分传入的查询参数；目标 URL 固定。请检查现有 location 冲突，并在重载前运行 nginx -t；此工具不运行 nginx -t、不测试目标站，也不部署配置。
- 文件和输入只在浏览器中处理；粘贴文本或 UTF-8 CSV 文件最多 1 MiB、1,000 条规则。输出不会自动改写原文件。
- 预先提供完整来源路径与固定绝对目标网址；生成器不把 CSV 转为动态运行时规则。
CSP 策略检查检查粘贴的 CSP 策略中无效的来源表达式、重复指令、宽泛授权和缺失限制。
粘贴一条 Content-Security-Policy 响应头的值，不包含响应头名称；检查常见来源列表语法（包括位置错误的域名通配符）、重复指令和宽泛授权。
操作步骤
- 粘贴 CSP 响应头的值，不包含响应头名称。
- 查看无效来源表达式（包括位置错误的通配符）、重复指令、宽泛授权和缺失的常见限制。
- 下载完整 JSON 报告；在实际站点的报告模式和浏览器控制台验证策略。
能力与限制
- 仅对单条策略做本地检查。可检查常见来源列表语法，但完整 CSP 语法、浏览器支持、多头叠加及 report-only 行为仍需在浏览器验证；结果不构成安全认证。
- 文件和输入只在浏览器中处理；粘贴值或 UTF-8 .txt 文件最多 1 MiB。输出不会自动改写原文件。