数字实验中异质处理效应的非参数贝叶斯分析
应用统计
2015-12-21 v4
摘要
随机对照试验在互联网公司预测政策决策与产品变更影响方面发挥着重要作用。在这些“数字实验”中，不同单元（人、设备、产品）对处理方式的响应不同。本文提出一种快速且可扩展的贝叶斯非参数分析方法，用于研究此类异质处理效应及其相对于可观测协变量的度量。针对通过线性投影与非线性回归树（CART 与随机森林）度量处理效应相关的不确定性，给出了新的结果与算法。对于线性投影，我们的推断策略所得结果大多与频率学派文献一致。我们发现，对处理效应均值进行线性回归调整（即事后分层）可提供一定的方差缩减，但在数字实验的低信号与大样本情形下该缩减将微乎其微。对于回归树，我们为树拟合中常用的机器学习算法提供了不确定性量化。我们认为实践者在分析中应求助于树集成（森林）而非单棵树。这些思想通过涉及 EBay.com 2100 万独立用户的实验示例得以应用与说明。
引用
@article{arxiv.1412.8563,
title = {A nonparametric Bayesian analysis of heterogeneous treatment effects in digital experimentation},
author = {Matt Taddy and Matt Gardner and Liyun Chen and David Draper},
journal= {arXiv preprint arXiv:1412.8563},
year = {2015}
}