网站收录检查：日志中应该核对哪些字段？先分清抓取与索引两条线
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /d9af23939022.html
📄
网站收录检查：日志中应该核对哪些字段？先分清抓取与索引两条线
做网站收录检查时，服务器日志里最该先核对的是能区分“谁来过、要了什么、结果怎样”的字段：时间、客户端IP、请求方法、请求URL、状态码、响应大小、User-Agent和Referer。它们能帮你判断搜索引擎爬虫是否抓取了目标页面、抓取是否成功，以及抓取后的页面是否具备被索引的条件。日志只能证明抓取行为，不能直接证明页面已收录，所以要把日志字段与索引状态分开看。
先看哪几个字段，能回答“爬虫来过没有”
观察阶段建议按下面顺序核对：
- 时间：确认抓取发生在哪个时段，是否与内容更新、服务器调整或发布节奏吻合。
- 客户端IP与User-Agent：两者要一起看。User-Agent可能被伪造，单看字符串容易误判；可结合反向解析或搜索引擎官方公布的验证方式核对。
- 请求方法：GET通常是正常抓取，HEAD可能只是探测，POST一般不是普通页面抓取。
- 请求URL：确认抓的是目标正文页，还是列表页、参数页、静态资源或已废弃地址。
- 状态码：200表示正常返回；301/302表示跳转；404表示不存在；403表示被拒绝；5xx表示服务器或应用出错。不同状态对收录的影响不同，要结合URL本身判断。
再看哪些字段，能判断“抓取结果是否可用”
判断阶段重点看响应大小、Referer和状态码组合：
- 响应大小：如果状态码是200但响应体极小，可能是空页面、验证页或错误模板，爬虫拿到的并不是有效正文。
- Referer：能看出爬虫是从站内链接、站点地图还是外部链接进入。没有Referer不代表异常，但连续大量直接请求某个URL，值得进一步核查。
- 状态码与URL的对应关系：同一批URL反复出现301，说明跳转链可能过长；大量404说明内链或旧地址需要清理；403集中出现，说明可能有访问限制或防护规则误伤。
这里要区分“可能原因”和“已经定位的原因”。例如，某URL返回403，可能是服务器防火墙拦截，也可能是应用层权限设置，还可能是爬虫请求头被规则拒绝；只有结合服务器规则、应用日志和复现请求，才能确认是哪一种。
两种处理方案：先修抓取，还是先修索引
日志核对后，常见分歧是：页面没收录，到底先处理抓取问题，还是先处理索引问题。可以用下面的对比来判断。
- 方案A：先修抓取。适用条件是日志中目标URL长期没有爬虫请求，或请求集中在错误URL、错误状态码上。处理动作包括修正内链、提交站点地图、检查robots.txt是否误封、确认服务器没有拦截正常爬虫。复查时看目标URL是否出现200状态的有效抓取。
- 方案B：先修索引。适用条件是日志显示爬虫已经用200抓取了正文页，但索引状态仍不理想。此时应检查页面是否有可索引的正文、是否被noindex、是否有规范标签指向其他URL、内容是否与已有页面高度重复。复查时看索引状态是否变化，而不是只看抓取次数。
两种方案不是互斥的。判断依据是日志字段给出的证据：没有抓取，优先修抓取；已经抓取但未索引，优先修索引条件。robots.txt的抓取限制不等于可靠的索引移除，站点地图也不保证收录，所以不能用“已提交”代替实际核查。
一个可执行的日志核对步骤
假设你要检查/article/example是否被正常抓取，可以按以下步骤执行：
- 在日志中筛选该URL，保留时间、IP、User-Agent、状态码、响应大小五个字段。
- 按时间排序，看最近一次抓取是什么时候，是否持续出现。
- 把User-Agent与官方验证方式核对，排除伪造爬虫。
- 看状态码：200继续看响应大小；301/302记录跳转目标；404检查内链；403/5xx检查服务器规则和应用错误。
- 如果200且响应大小正常，再到索引侧核对页面是否允许索引、规范标签是否指向自身。
- 修改后复查同一URL的日志记录，确认状态码、响应大小和抓取频率是否朝预期方向变化。
如果站点使用HTTPS，也不要因为协议是HTTPS就默认页面一定安全或一定被收录；证书、混合内容和索引状态要分别核查。不同搜索引擎的爬虫验证方式和支持情况需要分别核对，不能拿一个爬虫的日志结论直接套到所有搜索引擎。
复查时看什么，避免把抓取当成收录
复查阶段建议同时记录两组结果：一组是日志中的抓取字段，另一组是索引状态。日志显示200抓取，只说明服务器成功返回了页面；页面是否被索引，还要看索引状态、规范标签和页面质量。若日志中目标URL始终没有出现，先检查内链和站点地图是否指向它；若出现但状态码异常，先修服务器或应用返回；若一切正常但仍未索引，再回到页面内容与索引规则上排查。
下一步可以直接从最近7天日志中筛出目标目录的URL，按状态码分组统计，再挑出“有抓取但未索引”和“无抓取”的两类URL分别处理。
