比率指标的方差缩减以实现高效的在线实验
机器学习
2024-01-09 v1 信息检索
应用统计
摘要
在线对照实验，如 A/B 测试，通常被现代科技公司用于实现持续的系统改进。尽管 A/B 测试至关重要，但其成本高昂：根据其定义，一定比例的流量会被分配到较差的系统变体。为确保在顶层指标上具有统计显著性，在线实验通常需要运行数周。即便如此，相当数量的实验仍会导致非结论性结果（即假阴性，或 II 类错误）。这种低效率的主要原因是线上指标的方差。文献中已提出方差缩减技术，但其对常用比率指标（例如点击率或用户留存率）的直接适用性有限。在这项工作中，我们成功地将方差缩减技术应用于大型短视频平台 ShareChat 的比率指标。我们的实证结果表明，我们可以在 77% 的情况下提高 A/B 测试的置信度，或者可以用少 30% 的数据点保持相同的置信水平。重要的是，我们表明在回归中包含尽可能多的协变量的常见做法会适得其反，这突显了基于梯度提升决策树预测器的控制变量最为有效。我们讨论了大规模实施这些方法的实操性，并展示了它们所带来的成本降低。
引用
@article{arxiv.2401.04062,
title = {Variance Reduction in Ratio Metrics for Efficient Online Experiments},
author = {Shubham Baweja and Neeti Pokharna and Aleksei Ustimenko and Olivier Jeunen},
journal= {arXiv preprint arXiv:2401.04062},
year = {2024}
}
备注
Accepted at the European Conference on Information Retrieval (ECIR '24) Industry Day