SQR：在线实验中速度、质量与风险的平衡
应用统计
2018-01-26 v1
摘要
受控实验，又称 A/B 测试，被广泛用于加速在线世界中的产品创新。然而，我们创新的速度可能受限于我们运行实验的方式。大多数实验经历一个“逐步放量”过程，即我们逐渐将新处理的流量增加到 100%。我们已经看到实验放量方式中存在巨大的低效与风险，并且这正阻碍着创新。这可能走向两个极端：我们放量太慢，浪费大量时间和资源；或者我们放量太快，做出次优决策。在本文中，我们构建了一个能够有效平衡速度、质量与风险（SQR）的放量框架。我们首先识别出实验人员常犯的主要错误，然后介绍对应于实验四个放量阶段的四条 SQR 原则。为了真正将 SQR 推广到所有实验，我们开发了一种统计算法，该算法嵌入到每个实验的运行过程中，以自动推荐放量决策。最后，为了完整呈现全貌，我们简要介绍了能够及时可靠地收集输入并执行推荐结果的自动放量工程基础设施。
引用
@article{arxiv.1801.08532,
title = {SQR: Balancing Speed, Quality and Risk in Online Experiments},
author = {Ya Xu and Weitao Duan and Shaochen Huang},
journal= {arXiv preprint arXiv:1801.08532},
year = {2018}
}