推荐系统离线评估中的辛普森悖论
信息检索
2021-04-20 v1
摘要
推荐系统常基于从已部署的现有推荐系统收集的用户交互进行评估。在此情形下，用户仅对曝光项目提供反馈，且由于部署系统未向他们曝光其他项目，他们可能不对其留下反馈。结果，用于评估新模型的收集反馈数据集受部署系统影响，表现为一种闭环反馈。本文中，我们展示推荐系统的典型离线评估遭受所谓的辛普森悖论。辛普森悖论是指如下现象：在观测数据的若干不同子群体中出现的显著趋势，在这些子群体合并后消失甚至反转。我们基于分层抽样的深入实验揭示，被部署系统频繁曝光的极少量项目在推荐系统离线评估中扮演混杂因素。此外，我们提出一种考虑混杂因素（即部署系统的特性）的新评估方法。使用如推荐系统典型离线评估中许多推荐模型的相对比较，并基于Kendall秩相关系数，我们表明所提评估方法在考察的开放环数据集（Yahoo!与Coat）上分别展现出统计显著的14%与40%改进，相较于标准评估更能反映具有开放环（随机化）评估的系统真实排序。
引用
@article{arxiv.2104.08912,
title = {The Simpson's Paradox in the Offline Evaluation of Recommendation Systems},
author = {Amir H. Jadidinejad and Craig Macdonald and Iadh Ounis},
journal= {arXiv preprint arXiv:2104.08912},
year = {2021}
}