干扰下A/B测试的功效
社会与信息网络
2017-10-12 v1
摘要
在本文中，我们解决一个基本的统计学问题：当研究中的单元暴露于干扰时，如何评估A/B测试的功效？这个问题与许多在干扰控制有限的环境中依赖A/B测试的科学和工业从业者密切相关。我们首先证明干扰对其敏感性（即功效）具有可测量的影响。我们将均值相等性A/B测试的功效量化为在任何干扰机制下暴露个体数量的函数。我们进一步推导了在简单伯努利切换干扰机制下暴露个体数量的中心极限定理。基于这些结果，我们开发了一种策略，用于在行动者根据观察到的网络模型经历干扰时估计A/B测试的功效。我们展示了如何利用该理论来估计共享任何网络关系的单元上A/B测试的功效，并突出了我们的方法在两个应用中的效用——Facebook好友网络以及大型Twitter关注网络。这些结果首次提供了能力，以理解如何设计A/B测试，从而在由网络驱动的干扰下进行A/B测试时，以指定的置信度检测固定的可测量处理效应。
引用
@article{arxiv.1710.03855,
title = {The power of A/B testing under interference},
author = {James D. Wilson and David T. Uminsky},
journal= {arXiv preprint arXiv:1710.03855},
year = {2017}
}
备注
14 pages