在线实验中时长推荐的效果量估计：利用层次模型和客观效用方法
机器学习
2025-04-15 v2 机器学习
摘要
假设效果量的选择关键地决定了实验的持续时间，从而决定了其准确性和效率。传统上，实验者基于领域知识确定假设效果量。然而，这种方法对于管理大量实验的在线实验服务变得不切实际，因此迫切需要更自动化的方法。我们通过引入两种解决方案，首次开展了在线实验服务中数据驱动的假设效果量选择研究。第一种方法采用三层高斯混合模型，考虑实验间的异方差性，旨在估计阳性实验中的真实期望效果量。第二种方法基于效用理论，旨在通过平衡实验成本与决策精度来确定最优效果量。通过与使用模拟数据和真实数据的基线方法进行比较，我们展示了所提出方法的优越性能。
引用
@article{arxiv.2312.12871,
title = {Effect Size Estimation for Duration Recommendation in Online Experiments: Leveraging Hierarchical Models and Objective Utility Approaches},
author = {Yu Liu and Runzhe Wan and James McQueen and Doug Hains and Jinxiang Gu and Rui Song},
journal= {arXiv preprint arXiv:2312.12871},
year = {2025}
}