论评估基线的困难：推荐系统的一项研究
信息检索
2019-05-07 v1 机器学习
摘要
与基线进行比较的数值评估在评判推荐系统研究时起着核心作用。在本文中，我们表明正确运行基线十分困难。我们在两个被广泛研究的数据集上展示了这一问题。首先，我们表明过去五年中用于 Movielens 10M 基准的众多出版物里的基线结果并非最优。通过精心设置朴素矩阵分解基线，我们不仅能够改进该基线已报道的结果，甚至优于任何新提出方法的报道结果。其次，我们回顾社区为在 Netflix Prize 上获得简单方法的高质量结果所需的巨大努力。我们的结果表明，除非研究论文中的实证发现是在基线已被社区广泛调优的标准化基准上获得，否则值得怀疑。
引用
@article{arxiv.1905.01395,
title = {On the Difficulty of Evaluating Baselines: A Study on Recommender Systems},
author = {Steffen Rendle and Li Zhang and Yehuda Koren},
journal= {arXiv preprint arXiv:1905.01395},
year = {2019}
}