在线受控实验中长期评估指标的早期检测
应用统计
2019-06-17 v1 人工智能
摘要
许多人在实施优化方法或实验（无论是强化学习算法还是A/B测试）时遇到的常见困境是，决定优化哪个指标。通常，易于测量的短期指标被选用来替代长期指标，而后者具有不理想的时间考量且计算往往更复杂。本文中，我们论证了选择关注长期效应指标的重要性。由此带来的是必须能够相对早期地度量组间的显著差异。我们在此提出一种基于响应寿命预测的自举假设检验、用于早期检测组间寿命差异的高效方法。我们给出了该方法在在线广告领域的应用，并认为该方法不仅使人能聚焦于最终的重要指标，还提供了一种缩短测试周期的手段。
引用
@article{arxiv.1906.05959,
title = {Early Detection of Long Term Evaluation Criteria in Online Controlled Experiments},
author = {Yoni Schamroth and Liron Gat Kahlon and Boris Rabinovich and David Steinberg},
journal= {arXiv preprint arXiv:1906.05959},
year = {2019}
}