基于设计的置信序列：在线实验中风险缓释的一般方法
统计方法学
2023-05-26 v3 应用统计
摘要
随机实验已成为公司评估新产品或服务性能的标准方法。除增强管理者的决策外，实验还通过限制暴露于创新的客户比例来缓释风险。由于许多实验针对顺序到达的客户，一个潜在的解决方案是允许管理者在新数据可用时“窥视”结果，并在结果具有统计显著性时停止测试。遗憾的是，窥视会使标准统计分析的统计保证失效，并导致不可控的第一类错误。我们的论文提供了有效的基于设计的置信序列——在假设较轻的情况下，对各种序贯实验具有随时间一致的第一类错误保证的置信区间序列。特别地，我们关注定义在研究参与者上的有限样本估计量，作为公司所承担风险的直接度量。我们提出的置信序列对包括多臂老虎机、时间序列与面板实验在内的一大类实验均有效。我们进一步提供了一种结合建模假设与协变量的方差缩减技术。最后，我们通过一项模拟研究及来自 Netflix 的三个真实应用展示了所提方法的有效性。我们的结果表明，通过使用我们的置信序列，有害实验可在仅观测到少量单位后即被停止；例如，Netflix 在其注册页面上针对 30,000 名潜在客户运行的一项实验，若用我们的方法将在第一天、前 100 次观测之前就被停止。
引用
@article{arxiv.2210.08639,
title = {Design-Based Confidence Sequences: A General Approach to Risk Mitigation in Online Experimentation},
author = {Dae Woong Ham and Iavor Bojinov and Michael Lindon and Martin Tingley},
journal= {arXiv preprint arXiv:2210.08639},
year = {2023}
}