蒙特卡洛模拟在 A/B 测试中的非寻常有效性

Márton Trencséni

蒙特卡洛模拟在 A/B 测试中的非寻常有效性

应用统计 2024-11-12 v1

作者: Márton Trencséni

摘要

本文审视了蒙特卡洛模拟用于理解 A/B 测试和随机对照试验 (RCT) 中统计概念的用法。我们讨论了在理解假阳性率和估计统计功效方面的模拟适用性，实现了方差缩减技术并检验了早期停止的影响。通过比较频率主义和贝叶斯方法，我们说明了模拟如何阐明 p 值与后验概率之间的关系，以及此类近似的有效性。该研究还引用了蒙特卡洛模拟用于理解 RCT 中社交网络效应的方法。我们的发现表明，蒙特卡洛模拟是实验者有效工具，以深化其理解并确保其结果在统计上有效且在实际中有意义。

关键词

蒙特卡洛模拟 A/B 测试随机对照试验统计功效贝叶斯方法

引用

@article{arxiv.2411.06701,
  title  = {The Unreasonable Effectiveness of Monte Carlo Simulations in A/B Testing},
  author = {Márton Trencséni},
  journal= {arXiv preprint arXiv:2411.06701},
  year   = {2024}
}

备注

8 pages, 6 figures

蒙特卡洛模拟在 A/B 测试中的非寻常有效性

摘要

关键词

引用

备注

相关论文