基于价值差异的子组处理效应在线检验
统计方法学
2021-09-03 v1
摘要
在线 A/B 测试在高科技行业中发挥着关键作用，用以指导产品开发和加速创新。它执行零假设统计检验以确定哪个变体更优。然而，典型的 A/B 测试存在两个问题：（i）固定周期框架在连续监测下会膨胀假阳性错误；（ii）同质效应假设无法识别出具有有益处理效应的子组。在本文中，我们提出一种基于价值差异的子组处理效应序贯检验，命名为 SUBTLE，以同时解决这两个问题。SUBTLE 允许实验者在实验期间“窥视”结果而不损害统计保证。它假设异质处理效应，旨在检验人群的某个子组是否会从所研究的处理中获益。如果检验结果表明存在这样的子组，则将使用现成的估计最优处理规则来识别一个子组。我们在模拟和真实数据集上检验了我们所提检验的经验性能。结果表明，SUBTLE 在任何时刻均具有受控第一类错误的较高检测功效，对噪声协变量更鲁棒，并且相比相应的固定周期检验能够实现提前停止。
引用
@article{arxiv.2109.00712,
title = {Online Testing of Subgroup Treatment Effects Based on Value Difference},
author = {Miao Yu and Wenbin Lu and Rui Song},
journal= {arXiv preprint arXiv:2109.00712},
year = {2021}
}