面向在线 A/B 测试中预测未来用户活动的改进方法
统计方法学
2024-02-06 v1 机器学习
应用统计
摘要
在线随机化实验或 A/B 测试中，对参与者包含率的准确预测至关重要。这些预测不仅指导实验者优化实验持续时间，也提高了治疗效应估计的精度。本文提出一种新颖、简洁且可扩展的贝叶斯非参数方法，用于预测在线 A/B 测试中个体将暴露于干预的速率。我们的 method 独特之处在于提供双重预测能力：它预测未来时间窗口中预期的新客户数量，而与可用的替代方法不同，还预测他们将被观察的次数。我们推导出用于形成关于未来用户活动预测所需数量的后验分布的闭式表达式，从而绕过需要像马尔可夫链蒙特卡洛（MCMC）这样的数值算法。经过对该模型的详尽阐述后，我们在真实和模拟数据上的实验中测试其性能，显示其在文献中现有方法方面具有优势。
引用
@article{arxiv.2402.03231,
title = {Improved prediction of future user activity in online A/B testing},
author = {Lorenzo Masoero and Mario Beraha and Thomas Richardson and Stefano Favaro},
journal= {arXiv preprint arXiv:2402.03231},
year = {2024}
}