协方差估计及其在大规模在线受控实验中的应用
应用统计
2021-08-06 v1 统计方法学
摘要
在过去几十年中，在线受控实验（也称为 A/B 测试）已被采纳为工业界衡量业务改进的黄金标准。在我们公司，有超过十亿用户同时参与数千个实验，并且在这些实验中对数千个在线指标例行进行统计推断与估计，计算成本成为一个重要问题。在本文中，我们提出一种估计在线指标协方差的新算法，其在协方差估计中计算成本与精度之间的权衡上引入了更多灵活性。该协方差估计方法降低了大规模设定下指标计算的计算成本，促进了在在线受控实验和自适应实验场景（如方差缩减、连续监测、贝叶斯优化等）中的进一步应用，并且易于在工程实践中实现。
引用
@article{arxiv.2108.02668,
title = {Covariance Estimation and its Application in Large-Scale Online Controlled Experiments},
author = {Tao Xiong and Yihan Bao and Penglei Zhao and Yong Wang},
journal= {arXiv preprint arXiv:2108.02668},
year = {2021}
}