探索推荐模型评估中的数据划分策略
信息检索
2020-07-28 v1
摘要
评估推荐系统的有效方法至关重要，以便能以合理方式比较此类系统。推荐系统评估中一个常被忽视的方面是数据划分策略的选择。在本文中，我们既表明不存在标准的划分策略，也表明划分策略的选择会对推荐系统的排序产生强烈影响。具体而言，我们进行了实验，比较三种常见划分策略，考察它们在两个数据集上对七个最先进（SOTA）推荐模型的影响。我们的结果表明，所采用的划分策略是一个重要的混淆变量，可显著改变最先进系统的排序，使得当前已发表文献中的大量工作即便使用相同数据集和指标也无法比较。
引用
@article{arxiv.2007.13237,
title = {Exploring Data Splitting Strategies for the Evaluation of Recommendation Models},
author = {Zaiqiao Meng and Richard McCreadie and Craig Macdonald and Iadh Ounis},
journal= {arXiv preprint arXiv:2007.13237},
year = {2020}
}