何时需要干扰？平台实验中的决策-making

本文研究了针对在线平台和市场的 A/B 实验中的决策-making。在此类情境下，由于库存限制，A/B 实验通常会导致因 treatment 与 control 组之间的 *干扰* 而产生偏置估计器；这一现象在 recent literature 中已得到良好研究。与此相反，关于干扰对 decision-making 影响的讨论相对较少。本文我们分析了一个受库存约束的平台的基准马尔可夫模型，其中到达的客户预订有限的 listing。我们聚焦于用于基于来自 customer-randomized 实验数据的 launch decision 常用的方法，即 frequentist 假设检验方法，我们研究了干扰对 (1) 假阳性概率和 (2) 统计功效的影响。我们获得了三个主要发现。首先，我们展示了对于 *sign-consistent* 的处理——即 treatment 相对于 control 对所有库存可用状态的 booking 概率都以相同方向改变——使用 standard difference-in-means 估计器及相应的 naive variance 估计器计算的 test statistic 的假阳性概率得到正确控制。其次，我们演示了在真实情境下，对于 sign-consistent 的处理，本 naive 方法的统计功效高于任何类似 pipeline 使用 debiased 估计器的方法。综合这两个发现，表明平台在处理 sign-consistent 的情况下可能更适合 *不* 进行去偏。最后，我们通过数值研究，探讨了在处理 sign-inconsistent 的情况下，假阳性概率和统计功效，我们表明 naive 方法在此类情况下可以原则上任意糟糕。