鸽洞设计：从在线匹配视角平衡序贯实验

实践者与学者早已认识到在进行随机实验时协变量平衡的好处。然而，对于运行在线A/B测试的互联网企业而言，当实验对象序贯到达时，平衡协变量信息仍具挑战性。在本文中，我们研究一个在线实验设计问题，称之为“在线分块问题”。在该问题中，具有异质协变量信息的实验对象序贯到达，且必须被立即分配到对照组或处理组。目标是最小化总差异，其定义为两组之间的最小权重完美匹配。为求解该问题，我们提出一种随机实验设计，称之为“鸽洞设计”。鸽洞设计首先将协变量空间划分为更小的空间，我们称之为鸽洞，然后当实验对象到达每个鸽洞时，平衡每个鸽洞中对照组与处理组对象的数量。我们分析了鸽洞设计的理论性能，并通过与两种知名基准设计——配对设计（match-pair design）与完全随机设计——比较展示了其有效性。我们识别出鸽洞设计相较基准设计展现更多优势的场景。最后，我们使用Yahoo!数据进行广泛模拟，表明若采用鸽洞设计估计平均处理效应，方差可降低10.2%。