样本|聊聊A/B实验那些事儿( 二 )

糟糕的触发条件，触发条件应该包含任何可能被影响的用户，触发条件基于可能被实验影响的属性也会让实验样本不均衡

那如何识别样本不均衡呢？

验证分桶时机点或触发时机点的上游有没有差异；
验证实验样本的分桶设置是否正确；
顺着数据漏斗路径排查是否有任何环节导致样本不均衡；
查看用户细分群体样本比例
查看与其他实验的交集

陷阱2：分析单元不一样在分析页面跳转时，有个核心指标CTR，CTR有两种常见计算方法，二者的分析单元是不一样的。
第一种CTR1=总点击数/总曝光数。
第二种CTR2，先计算每个用户的CTR然后平均所有用户的CTR。
如果随机分桶单元是用户层面，那么第一种方法使用了一个与分桶单元不同的分析样本，违背独立性假设，并且让方差计算变得复杂。
例如下面例子，有1W用户，假设每1K人有相同曝光和点击， CTR1=7.4%,CTR2=30.4%,显然CTR1受到了离群点影响。

文章插图
这两种定义没有对错之分，都是CTR的有用定义。但使用不同的定义会得到不同的结果。一般两个指标都会做成看板。
陷阱3：稀释效应陷阱计算对触发人群的实验效应时，需要将效应稀释到整个用户群，如果在10%的用户上增加3%的收入，那么整体收入是否将提升10%*3%=0.3%？一般并没有，总体效应可能是0–>3%之间任意值！
如果改动针对站用户总体10%的低花费人群（花费为普通用户的10%），且该改动将这部分用户的营收提高3%，那么对整体营收将提高=3%*10%*10%=0.03%。

文章插图
陷阱4：样本间信息干扰我们假设实验中每一个实验个体是独立的，不会相互影响，但用户个体会因为社交网络，对同一内容的互动信息等导致相互影响。
例如对社交类app有个策略“你可能认识的人”这个功能，实验组更好的推荐策略，会促使用户发送更多的邀请。然而接收到这些邀请的用户可能在对照组，如果评估指标是总邀请量，那么实验组和对照组的邀请都会增加，因此测量出来的实验组和对照组的差异会偏小。同样一个人可能认识的人是有限的，因此新算法在一开始可能会表现更好，但由于供推荐的供应量限制，长期来看可能会达到较低的均衡。
那要如何应对上述问题呢，首先不是所有用户行为都会出现网络效应，我们可以界定特殊行为会造成影响，只有这些行为被影响时，我们观察特殊行为是否影响下游的指标，同时重点分析该行为带来的生态价值，根据行为对生态系统的价值和贡献来考量最终决策。
陷阱5：混杂因素误导混杂因素是指与研究因素（暴露因素）和研究结果(结局因素）均有关、若在比较的人群组中分布不匀，可以歪曲（掩盖或夸大）暴露因素与结局因素的真正联系的因素。

文章插图
例如：很多产品有一个现象：看到更多错误的用户通常更少流失！

文章插图
所以，可以尝试显示更多的错误以启迪可以减少用户流失吗？当然是不可以，这种相关性是由一个共同愿意造成的：使用度。重度用户会看到更多错误，同时流失率更低。
如果发现某个新功能可以减少用户流失，需要分析是新功能在起作用，还是因为高活跃用户流失率低，同时更可能使用更多功能？
这种实验就要拆分活跃度进行实验。AB实验是需要控制变量的，但控制的东西过多了，实验变得束手束脚，具体控制哪些变量是非常值得思考的，有时候最终控制你真正想要测量的东西，那样功亏一篑。
有些时候实验结果给不了清晰的答案，但仍然要做出决策。对于这种情况，我们需要明确需要考虑的因素，尤其是这些因素如何影响实验显著和统计显著的边界设定。这些考虑会为为了决策提供基础，而非局限于当前的单一决策。
本文由@李誓杰原创发布于人人都是产品经理，未经许可，禁止转载。
【 样本|聊聊A/B实验那些事儿】题图来自 Unsplash，基于CC0协议