二级域名与主域名区别_日志中应该核对哪些字段
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /28cb8736db0e.html
📄
二级域名与主域名区别_日志中应该核对哪些字段
在排查二级域名与主域名区别时，日志里最该先核对的是host（请求主机名）和完整 URL，其次才是状态码、响应大小、抓取工具标识和 referrer。只有先把“这条记录到底属于主域名还是二级域名”确认清楚，后面的收录、抓取和流量判断才成立。如果 host 字段缺失或只记录 IP，就要用 URL 字段反推，不能凭路径猜域名。
准备阶段：先确认日志能区分两种域名
日志能否支撑比较，取决于它是否保留了主机名。常见格式中，host、server_name、:authority 或请求行里的完整 URL 都能承担这个作用。先做一次抽样：从日志中随机取 100 行，检查有多少行能明确读出是主域名还是二级域名。若可识别比例低于九成，说明字段不完整，后续统计会失真。
需要核对的字段清单：
host或请求行中的完整主机名：判断归属的第一依据。- 请求路径与查询串：区分同一路径在不同域名下的表现。
- 状态码：识别 301、302、404、410、5xx。
- 响应字节数：辅助判断是否返回了有效页面而非空响应。
- User-Agent：区分搜索引擎抓取、普通浏览器和监控工具。
- Referrer：判断流量来源，但为空不等于没有来源。
- 时间戳：用于对齐改版、跳转上线等操作节点。
实施阶段：用字段对比两种处理方案
比较“二级域名独立处理”和“合并到主域名处理”时，不要只看总请求数，要按 host 分组统计。可按以下维度建立对照：
- 按 host 分组，统计各自被抓取的 URL 总数与去重数。
- 统计各 host 下 200、301、404 的比例。
- 统计抓取工具对二级域名的访问频次是否明显低于主域名。
- 检查二级域名是否返回了正确的规范信号，例如 canonical 指向。
假设某站点把内容放在 blog.example.com，同时主域名也有同主题页面（此为假设示例）。若日志显示二级域名大量返回 200，但 canonical 指向主域名，说明两套 URL 同时可访问，抓取预算被分散。此时应决定是保留二级域名独立运营，还是统一跳转到主域名。判断依据是：内容是否长期独立、外链是否集中在二级域名、以及跳转后是否会产生大量 404。
这里要区分“可能原因”和“已定位原因”。日志中二级域名抓取少，可能是外链不足、robots.txt 限制、站点地图未包含该域名，也可能是服务器响应慢。只有逐项排除后，才能下结论。
验证阶段：核对字段后的结果是否符合预期
调整后重新取一段日志，重点看三件事：目标 host 的 200 比例是否上升；非目标 host 是否按预期返回 301 或 410；搜索引擎抓取是否转移到期望的域名。若使用 robots.txt 限制了某域名抓取，要记住抓取限制不等于索引移除，已收录 URL 仍可能出现在结果中。站点地图提交也不保证收录，只能作为发现路径。
验证时还要检查 HTTPS：证书覆盖的主机名是否包含二级域名。HTTPS 不保证安全无漏洞，也不直接保证排名，但证书不匹配会导致抓取失败，日志中会表现为握手错误或 4xx/5xx 集中出现。
维护阶段：把字段核对变成固定检查项
把 host、状态码、抓取工具、响应时间设为常规监控项，按周对比主域名与二级域名的抓取分布。若二级域名长期无有效抓取，先检查内链和外链是否指向它，再检查服务器日志是否被采样或截断。不同搜索引擎对二级域名的处理方式需要分别核查，不能用一个引擎的表现推断另一个。
下一步：从现有日志中导出最近 7 天数据，按 host 分组统计状态码分布，先确认二级域名与主域名各自返回了什么，再决定是保留、跳转还是合并。
