不能直接拼接。旧数据里的PR值和新数据里的任何评分,如果没有共同字段——例如同一URL、同一抓取日期、同一口径说明——你画出的趋势线只是两条时间轴被强行对齐,不是同一指标的连续变化。个别样本上看着连贯,规模化后必然出现例外。
假设你手上有两批数据。第一批是若干年前的PR值记录,字段是url、pr、date。第二批是近期从某个第三方工具导出的评分,字段是page、score、checked_at。你挑十个页面手动对照,发现PR高的页面score也偏高,于是把它们放进同一张折线图,看起来像一条平滑曲线。
把样本扩到几百个页面,问题就出来了:有的URL在旧数据里带www,新数据里没有;有的页面已经改版,路径变了;有的旧记录根本没有抓取日期,只有一个模糊的年份。此时“趋势”里混进了URL变更、页面重写、工具口径差异,而不是评分本身的变化。小样本成立,是因为你恰好挑到了结构稳定的页面。
关键判断:拼接趋势的前提不是数值能对上,而是每条记录能追溯到同一个可比较对象。没有共同字段,就没有这个追溯链。
看到“先高后低”或“先低后高”的曲线,至少有两种解释。
这两种解释会给出完全相反的行动建议。如果是解释一,你可以继续观察变化方向;如果是解释二,继续延长曲线只会放大误差,应该退回单批数据内部做比较。
要判断属于哪一种,看下面几类证据,而不是看曲线好不好看。
pr和新数据的score,取值范围、方向、是否分档,是否写明了定义。定义缺失时,任何换算都是假设。假设你做了URL交集,发现匹配率不到三成,且旧记录普遍缺抓取日期。这个结果说明:当前数据不足以支撑拼接趋势,下一步应该是缩小到匹配上的那部分页面单独分析,或者放弃跨批趋势,只在单批内部看分布。
即便匹配率较高,也有不能照搬的边界。
一个可操作的做法是:先给每批数据建立最小公共字段表,只保留url、value、date、source四项,并强制source标明来源与口径。然后按url分组,组内少于两个时间点的直接剔除。做完这一步,再决定是否画趋势。如果剔除后剩余样本过少,结论应写成“不足以判断方向”,而不是“趋势下降”。
这套动作的结果会直接影响下一步:匹配率高且来源口径可对照,才值得继续跟踪;匹配率低或来源混杂,就应该转向单批数据的内部比较,或者改用能提供稳定字段的观测方式,而不是在拼接出来的曲线上做决策。