在线实验中的收缩估计量
统计方法学
2019-11-15 v1
摘要
我们开发并分析了经验贝叶斯 Stein 型估计量，用于大规模在线实验中因果效应的估计。尽管在线实验通常被认为以其大样本量为特征，但我们关注处理组的多重性。典型的分析做法是使用简单的均值差（可能带有协变量调整），仿佛所有处理臂相互独立。在这项工作中，我们针对该设定开发了具有一致性、小偏差的收缩估计量。除了实现更低的均方误差外，这些估计量在大多数合理情形下保留了重要的频率学派性质，如覆盖概率。现代序贯实验与优化方法，例如多臂老虎机优化（其中处理分配随时间根据先前的响应而自适应），得益于我们收缩估计量的使用。在经验贝叶斯下的探索能更高效聚焦于近最优臂，改进了不确定性下所做的决策。我们通过考察 2017 年 4 月至 6 月在 Facebook 上进行的十七项大规模实验来展示这些性质。
引用
@article{arxiv.1904.12918,
title = {Shrinkage Estimators in Online Experiments},
author = {Drew Dimmery and Eytan Bakshy and Jasjeet Sekhon},
journal= {arXiv preprint arXiv:1904.12918},
year = {2019}
}