A/B测试的无痛持续监测：贝叶斯检验中的可选停止
应用统计
2016-02-18 v1
摘要
A/B测试是现代互联网时代统计理论最成功的应用之一。作为A/B测试方法支柱的零假设统计检验（NHST）的一个问题是，不允许实验者持续监控结果并实时做出决策。许多人认为这一限制违背了技术朝向实时数据分析的趋势。近来，直观上更适合实时决策的贝叶斯假设检验作为NHST的替代方案吸引了越来越多的兴趣。尽管针对持续监测场景的NHST校正已在现有文献中确立并为人所知于A/B测试界，但关于在贝叶斯检验中持续监测是否是一种恰当做法的争论存在于学术研究人员和一般从业者之间。在本文中，我们正式证明了在使用恰当停止规则时带持续监测的贝叶斯检验的有效性，并用具体的仿真示例阐明了理论结果。我们指出了停止规则不恰当的常见糟糕实践，并将我们的方法与NHST校正进行了比较。也为研究者和从业者提供了通用指南。
引用
@article{arxiv.1602.05549,
title = {Continuous Monitoring of A/B Tests without Pain: Optional Stopping in Bayesian Testing},
author = {Alex Deng and Jiannan Lu and Shouyuan Chen},
journal= {arXiv preprint arXiv:1602.05549},
year = {2016}
}