控制错误发现率和功效的贝叶斯 A/B 测试设计
统计方法学
2026-01-22 v6
摘要
企业经常进行在线对照实验（即 A/B 测试），以了解干预措施对多个业务指标的影响。为了解决多重假设检验问题，通常将多个指标聚合为单一的综合度量，这会丢失有价值的信息；或者施加严格的总错误率校正，从而导致功效降低。在本文中，我们提出了一个经济高效的框架，用于在控制功效和错误发现率（FDR）的同时设计贝叶斯 A/B 测试。选择最优决策阈值以控制功效和 FDR 通常依赖于在所考虑的每个样本量下进行密集的仿真。我们的框架高效地为贝叶斯 A/B 测试推荐满足 FDR 和平均功效标准的最优样本量和决策阈值。我们的方法之所以高效，是因为我们利用新的理论结果，仅使用在两个样本量下进行的仿真来获得这些推荐。我们使用一个基于涉及多个指标的真实 A/B 测试的示例来说明我们的方法。
关键词
引用
@article{arxiv.2312.10814,
title = {Design of Bayesian A/B Tests Controlling False Discovery Rates and Power},
author = {Luke Hagar and Nathaniel T. Stevens},
journal= {arXiv preprint arXiv:2312.10814},
year = {2026}
}