评估推荐系统算法时是时候考虑“时间”了 [提案]
信息检索
2017-10-31 v3
摘要
在这篇立场文章中，我们对当前将推荐系统的评估指标计算为单个数值（例如精确率 p=.28 或平均绝对误差 MAE = 1.21）的做法提出质疑。我们认为，单个数值仅表达了通常较长一段时间内（例如一年甚至更长）的平均有效性，这只能提供对数据模糊且静态的视图。我们建议，推荐系统研究人员应转而按周或月等时间序列计算指标，并将结果绘制成例如折线图。这样，结果能展示算法有效性随时间的演变，从而允许我们就算法未来的表现得出更有意义的结论。在本文中，我们解释了我们的推理，提供了一个示例来说明我们的推理，并提出了社区下一步应采取的行动建议。
引用
@article{arxiv.1708.08447,
title = {It's Time to Consider "Time" when Evaluating Recommender-System Algorithms [Proposal]},
author = {Joeran Beel},
journal= {arXiv preprint arXiv:1708.08447},
year = {2017}
}