基于期望收益的推荐模型 A/B 测试度量框架
信息检索
2019-06-18 v1 统计方法学
摘要
我们提供了一种方法，用以判断新的推荐系统相比现状是否提升了每次访问收益（RPV）。我们通过将 RPV 拆分为转化率与平均订单值（AOV）来实现该目标。我们使用 Lachenbruch 提出的两部分检验来确定新系统中的数据生成过程是否不同。当该检验无法就 RPV 的变化给出明确结论时，我们提出两种替代检验以确定 RPV 是否改变。这两种检验均依赖于非零购买值服从对数正态分布的假设。我们利用 Staples.com 不同时点收集的数据对该假设进行了经验验证。平均而言，我们的方法所需样本量小于其他方法。此外，它不需要任何主观离群值剔除。最后，它通过提供置信区间刻画了 RPV 周围的不确定性。
引用
@article{arxiv.1906.06390,
title = {A/B Testing Measurement Framework for Recommendation Models Based on Expected Revenue},
author = {Meisam Hejazinia and Majid Hosseini and Bryant Sih},
journal= {arXiv preprint arXiv:1906.06390},
year = {2019}
}