在线受控实验分析中的偏差-方差权衡
应用统计
2020-09-11 v1 软件工程
摘要
许多组织利用大规模在线受控实验(OCEs)来加速创新。具备检测对照组与处理组之间微小差异的高统计功效至关重要，因为关键指标上哪怕微小的变动也可能价值数百万美元，或意味着海量用户的不满。对于大规模 OCE，其持续时间通常较短（例如两周）以加快产品的变更与改进。本文考察了两种常用于分析实验时间窗内收集的用户使用数据的方法，它们在准确性与功效上可能存在差异。开放方法包含实验整个期间所有活跃用户的全部相关使用数据。有界方法包含每位用户自首次在实验窗口中活跃起一段固定观察期（例如暴露后七天）内的数据。
引用
@article{arxiv.2009.05015,
title = {Bias Variance Tradeoff in Analysis of Online Controlled Experiments},
author = {Ali Mahmoudzadeh and Sophia Liu and Sol Sadeghi and Paul Luo Li and Somit Gupta},
journal= {arXiv preprint arXiv:2009.05015},
year = {2020}
}