测试与推广：利润最大化的 A/B 测试
应用统计
2020-12-03 v2 统计方法学
摘要
营销人员常将 A/B 测试用作一种工具，在测试阶段比较不同的营销处理，然后将表现更优的处理部署到其余消费者群体。虽然这些测试传统上采用假设检验来分析，我们将其重新构建为测试机会成本（部分客户接收到次优处理）与向剩余群体部署次优处理所带来潜在损失之间的明确权衡。我们推导了利润最大化的测试规模的闭式表达式，并表明其显著小于假设检验通常推荐的样本量，尤其在响应噪声大或总体规模较小时。使用小保留组（holdout）的普遍做法可由非对称先验合理化。所提出的测试设计在广泛条件下达到了与灵活但更难实现的多臂老虎机（multi-armed bandit）几乎相同的期望后悔值。我们在三种不同营销情境——网站设计、展示广告和目录测试——中展示了该方法的益处，其中我们根据过往数据估计先验。在所有三种情形中，最优样本量都显著小于传统假设检验，从而带来更高利润。
引用
@article{arxiv.1811.00457,
title = {Test & Roll: Profit-Maximizing A/B Tests},
author = {Elea McDonnell Feit and Ron Berman},
journal= {arXiv preprint arXiv:1811.00457},
year = {2020}
}