存在用户内相关与分段的 A/B 测试中比率指标的处理
应用统计
2020-07-24 v2 统计理论
统计理论
摘要
我们研究了在来自同一用户的观测之间存在相关性的情况下 A/B 测试中的比率指标，并提供了实用指导，尤其针对两个指标相互矛盾的情形。我们提出了新的估计方法来定量度量用户内相关性（在各分段内）。利用准确估计的相关性，我们提出了一种总体均值的 uniformly minimum-variance unbiased estimator（一致最小方差无偏估计量），称为相关性调整均值（correlation-adjusted mean），以考虑此类相关结构。理论上与数值上均证明它优于另外两种无偏估计量：朴素均值（naive mean）与归一化均值（normalized mean，先在各用户内平均再跨用户平均）。相关性调整均值方法无偏且方差减小，因而获得了额外的检验功效。我们设计了若干仿真研究以展示相关结构的估计精度、降低方差的有效性以及获得更高功效的能力。本文以对 eBay 数据的应用作为结尾。
引用
@article{arxiv.1911.03553,
title = {Dealing With Ratio Metrics in A/B Testing at the Presence of Intra-User Correlation and Segments},
author = {Keyu Nie and Yinfei Kong and Ted Tao Yuan and Pauline Berry Burke},
journal= {arXiv preprint arXiv:1911.03553},
year = {2020}
}
备注
A/B Testing, repeated measures, uniformly minimum-variance unbiased estimator, stratification, sensitivity, variance reduction