面向在线受控实验的误发现率可控异质处理效应检测
应用统计
2018-08-16 v1
摘要
在线受控实验（又称 A/B 测试）已被许多互联网公司用作功能变更与产品发布中数据驱动决策的准则。然而，如何系统性地衡量每一次代码或功能变更对具有高度异质性（如国家、年龄、设备）的数百万用户的影响，仍是一项巨大挑战。许多公司最常用的 A/B 测试框架基于平均处理效应（ATE），无法检测处理效应对不同特征用户的异质性。本文提出统计方法，可系统性且准确地识别任意关注用户群体（如移动设备类型、国家）的异质处理效应（HTE），并确定用户哪些因素（如年龄、性别）导致了 A/B 测试中处理效应的异质性。通过在仿真数据与真实实验数据上应用这些方法，我们展示了它们在受控的低误发现率（FDR）下如何稳健工作，同时为我们提供关于已识别用户群体异质性的有用洞察。我们已基于这些方法部署了一个工具包，并用其衡量 Snap 公司许多 A/B 测试的异质处理效应。
引用
@article{arxiv.1808.04904,
title = {False Discovery Rate Controlled Heterogeneous Treatment Effect Detection for Online Controlled Experiments},
author = {Yuxiang Xie and Nanyu Chen and Xiaolin Shi},
journal= {arXiv preprint arXiv:1808.04904},
year = {2018}
}