推荐因果效应的在线评估方法
机器学习
2021-07-16 v2
摘要
评估推荐的因果效应是一个重要目标，因为对用户交互的因果效应可直接带来销量与用户参与度的提升。为选择最优推荐模型，通常进行 A/B 测试以比较模型性能。然而，因果效应的 A/B 测试需要大量用户，使得此类实验成本高且风险大。因此我们提出了首个交错方法，能够高效比较推荐模型在因果效应方面的差异。与传统交错方法不同，我们同时测量交错列表中项目以及不在交错列表中项目的结果，因为因果效应是有推荐与无推荐时结果之差。为确保评估无偏，我们以相等概率选择项目或使用逆倾向得分对结果加权。随后我们通过模拟在线实验验证了在线评估方法的无偏性与高效性。结果表明我们提出的方法是无偏的，且比 A/B 测试具有更优的效率。
引用
@article{arxiv.2107.06630,
title = {Online Evaluation Methods for the Causal Effect of Recommendations},
author = {Masahiro Sato},
journal= {arXiv preprint arXiv:2107.06630},
year = {2021}
}
备注
accepted at RecSys 2021