具有依赖数据的在线实验中的不确定性：自助法评估

许多在线实验在用户与物品之间表现出依赖性。例如，在网络广告中，拥有共同用户或共同广告的观测值很可能相互关联。因此，即使在涉及数百万受试者的实验中，对照组和处理组之间的平均结果差异也可能具有相当大的方差。先前的理论和模拟结果表明，如果不考虑这种依赖结构，会导致置信区间过窄，从而产生不准确的假设检验。我们开发了一个框架来理解依赖性如何影响用户 - 物品实验中的不确定性，并评估了考虑不同依赖水平的自助法（bootstrap methods）在实际中的表现。我们使用了三个描述 Facebook 用户行为的真实数据集——用户对广告、搜索结果和动态消息故事的响应——来生成合成实验数据，这些实验在设计上处理效应平均为零。随后，我们估计了每种自助法的经验第一类错误率。在单一类型单元内（即用户内依赖性）考虑依赖性通常足以获得合理的错误率。但是，当实验存在效应时（正如实地实验中预期的那样），使用多向自助法（multiway bootstrap）考虑多个单元对于使第一类错误率接近标称值可能是必要的。这项工作为评估大规模实验的从业者提供了指导，并强调了对在线系统中常见的依赖结构进行推断方法分析的重要性。