优化效果分析：访客被分配到不同版本时怎样识别样本污染
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /cde3ccfd191e.html
📄
优化效果分析：访客被分配到不同版本时怎样识别样本污染
先给结论：识别样本污染的关键不是看哪一版数据更好，而是先确认“分流是否真的随机、曝光是否真的可比、统计口径是否真的隔离”。只要这三项中有一项不成立，版本间的差异就可能来自访客构成，而不是改动本身。下面从一个矛盾现象切入，给出两种解释和能区分它们的证据。
矛盾现象：B版整体更差，但分渠道看却更好
假设你同时上线A、B两个版本，整体看B版的转化率低于A版，直觉上应当下线B。但把流量按来源拆开后，B版在自然搜索、直接访问、站内推荐三个入口的转化都高于A版。这种“整体差、分组好”的格局，是样本污染最典型的信号之一。
原因在于：整体指标是各分组按流量占比加权后的结果。如果B版被分到的流量里，高转化来源占比更低，那么即使B版在每个来源内部都更好，整体仍可能更差。这不是辛普森悖论的文字游戏，而是分流环节真实发生的不均衡。
两种解释：随机波动，还是分流不均
面对上述矛盾，先列出两个成立条件不同的解释，再去找能区分它们的证据。
- 解释一：随机波动。成立条件是分流基本随机，差异来自小样本的自然起伏。此时分组间的来源构成应当接近，各来源内部差异也不稳定。
- 解释二：分流不均。成立条件是访客进入版本的机制与来源、设备、登录状态或时间相关。此时分组间的来源构成会系统性偏离，且偏离方向与整体差异方向一致。
两个解释都可能导致“整体差、分组好”，不能只凭结果反推原因。
能区分两种解释的证据
证据一：分流变量的分布对比
把进入A、B两版的访客，按来源、设备类型、新老访客、登录状态、访问时段分别统计占比。如果某一维度上两版占比差距明显，且该维度与转化强相关，分流不均的解释就更站得住。随机波动下，这些占比应当接近，差距随样本增大而收窄。
证据二：分流机制本身是否与访客特征相关
检查分配逻辑。常见的问题包括：按用户ID尾号分配但ID生成与注册渠道相关；按时间片轮换但投放节奏与时段相关；先到先得导致早高峰访客集中进入某一版。只要分配规则用到了与转化相关的变量，污染就可能存在。
证据三：同一访客跨版本的一致性
如果同一访客在会话内或短期内被分到不同版本，说明分流没有稳定绑定，版本体验被混合。可核对分流标识是否在会话间保持、是否被缓存或跳转覆盖。这类污染会让任何版本对比失去意义。
一个假设示例：如何用证据链下判断
假设某次测试中，B版整体转化率低于A版，但三个来源内部B版都更高。进一步核对发现：B版流量中自然搜索占比明显偏低，而自然搜索恰好是转化最高的来源；同时分流规则按“首次访问时间”奇偶分配，而自然搜索访客集中在某几个时段。此时证据链指向分流不均，而非B版真的更差。
对应的实际动作是：暂停按时间奇偶分流，改为按稳定访客标识随机分配，并让两版在同一时段内并行获取流量。重跑后如果来源构成接近，再比较版本差异，结论才可用。这个动作的结果直接决定下一步——若构成仍偏离，就要继续查分流标识的稳定性，而不是急着下结论。
识别之后：先修分流，再谈效果
样本污染一旦确认，正确的顺序是先修正分流和统计口径，再重新收集数据。修正后仍需检查：两版的曝光条件是否一致、转化定义是否相同、统计窗口是否对齐。只有这些前提成立，版本差异才可归因于改动本身。否则，任何“优化效果”都可能只是访客构成变化带来的假象。
