推荐系统研究中可复现性与进展的令人担忧的分析

生成个性化排序项目列表的算法设计是推荐系统领域的核心研究课题。特别是过去几年中，基于深度学习（神经网络）技术的方法在文献中已占据主导地位。对于所有这些方法，均声称相对于最先进水平（state-of-the-art）取得了实质性进展。然而，有迹象表明当今研究实践中存在某些问题，例如关于用于比较的基线方法的选择与优化，这对已发表的声称提出了质疑。为了更好地理解实际的进展，我们尝试复现近年来基于协同过滤的神经推荐方法领域的结果。对这些近期工作（均于 2015 至 2018 年间发表在知名科学会议上）的分析得出了令人担忧的结论：12 种可复现的神经方法中有 11 种可以被概念上简单的方法（例如基于最近邻启发式的方法）所超越。这些计算复杂的神经方法没有一种真正持续优于已有的基于学习的技术，例如使用矩阵分解或线性模型的方法。在我们的分析中，我们讨论了当今研究实践中的常见问题，尽管关于该主题发表了大量论文，这些问题显然已导致该领域陷入某种程度的停滞。