基于分位数指标的大规模在线实验
应用统计
2019-03-22 v1
摘要
在线实验（或 A/B 测试）已被工业界广泛采纳为衡量产品影响的黄金标准。尽管被广泛采用，鲜有文献讨论以分位数指标进行的 A/B 测试。分位数指标，如第 90 百分位页面加载时间，对 A/B 测试至关重要，因为许多关键性能指标（包括站点速度与服务延迟）都定义为分位数。然而，在 LinkedIn 的数据规模下，分位数指标的 A/B 测试极具挑战性，因为对依赖样本的分位数不存在统计上有效且可扩展的方差估计量：bootstrap 估计量统计上有效，但需数日计算；标准渐近方差估计可扩展但导致数量级低估。本文中，我们提出一种统计上有效且可扩展的、用于分位数 A/B 测试的方法论，其可完全推广至其他 A/B 测试平台。相比 bootstrap 它实现了超过 500 倍的加速，且仅有 的概率与 bootstrap 估计相异。除方法论外，我们还分享了用此方法实现的数据流水线及关于流水线优化的见解。
引用
@article{arxiv.1903.08762,
title = {Large-Scale Online Experimentation with Quantile Metrics},
author = {Min Liu and Xiaohui Sun and Maneesh Varshney and Ya Xu},
journal= {arXiv preprint arXiv:1903.08762},
year = {2019}
}