当新未必优：深度学习真的从隐式反馈推荐中获益了吗？

近年来，神经模型被反复宣称在推荐任务中达到最先进性能。然而，多项近期研究揭示，许多神经推荐模型所报告的最先进结果无法可靠复现。一个主要原因是现有评估在不同不一致协议下进行。相应地，这些可复现性问题使我们难以理解从这些神经模型中实际能获得多少收益。显然，需要对传统模型与神经模型进行公平且全面的性能比较。受这些问题驱动，我们开展了一项大规模系统性研究，在基于隐式数据的top-n推荐中比较近期神经推荐模型与传统模型。我们提出一组评估策略，用于衡量推荐模型的记忆性能、泛化性能及子群特定性能。我们在九个常用数据集上以13个流行推荐模型（包括两个神经模型与11个传统模型作为基线）进行了大量实验。实验表明，即便经过大量超参数搜索，神经模型也并非在所有方面都优于传统模型，例如在平均HitRate上表现更差。我们进一步发现，在某些方面神经模型似乎优于非神经模型，例如在不同用户与物品子群之间的推荐多样性与鲁棒性。我们的工作阐明了神经模型在推荐中的相对优势与劣势，因此是构建更好推荐系统的重要一步。