通过提升：大规模A/B测试的成本效益方法
统计方法学
2025-08-21 v3 机器学习
应用统计
机器学习
摘要
A/B测试是数字平台和市场场所中决策制定的核心工具。实践者往往在控制虚假发现成本的同时优先考虑绩效指标的提升幅度。本文发展了一个在虚假发现率（FDR）受限下最大化预期利润的决策理论框架。我们提出了一种经验贝叶斯方法，使用贪心背包算法根据提升幅度与成本之比对实验进行排序，将局部虚假发现率（lfdr）作为关键统计量。 resulting oracle rule valid and rank-optimal。在大规模设置下，我们建立了数据驱动实现的渐近有效性，并演示其在现有FDR控制方法中的有限样本性能优于现有方法。Optimizely平台上进行的A/B测试应用突显了该方法的商业价值。
引用
@article{arxiv.2407.01036,
title = {Ranking by Lifts: A Cost-Benefit Approach to Large-Scale A/B Tests},
author = {Pallavi Basu and Ron Berman},
journal= {arXiv preprint arXiv:2407.01036},
year = {2025}
}
备注
Updated