对无先验停止时间测试的持续监控几乎不可能
统计方法学
2025-10-16 v2 机器学习
摘要
AB 测试以严格的统计方法评估控制组与处理组之间的差异。持续监控允许对正在进行的 AB 测试进行统计评估。持续监控的一个目标是实现早期停止——尽快确认控制组与处理组之间是否存在统计显著差异。另一个目标是保持某种统计能力，以便在测试后期发现显著差异（如果不能在早期确认）。这些目标存在冲突——对早期停止放宽的要求会导致后期更严格的要求。本文表明，对于没有先验停止时间的测试，无法维持恒定的显著性要求，但可以通过要求多次显著结果才能确认控制组与处理组之间统计显著差异的方式，来 arbitrarily 接近该目标。
引用
@article{arxiv.2408.02821,
title = {Steady Continuous Monitoring is (Just Barely) Impossible for Tests of Unbounded Length},
author = {Eric Bax and Alex Shtoff},
journal= {arXiv preprint arXiv:2408.02821},
year = {2025}
}