路在何方？离线推荐系统评估指南

近年来多项研究指出了推荐系统离线评估中的重大缺陷，使得难以判断是否取得了真正的进展。然而，关于在实验中应以何种实践组合作为起点，相关研究甚少。本文详细考察了推荐系统研究中关于不确定性估计、泛化、超参数优化和数据集预处理的四个较大问题，以形成一套指南。我们提出了 TrainRec，一个实现这些指南的轻量级、灵活的推荐系统离线训练与评估工具包。与其他框架不同，TrainRec 是一个仅专注于实验的工具包，提供可组合或单独使用的灵活模块。最后，我们通过在十个数据集上评估十二个多样化基线来展示 TrainRec 的实用性。结果表明：(i) 许多在较小数据集上的结果可能不具备统计显著性；(ii) 至少有三个基线在大多数数据集上表现良好，应在未来实验中予以考虑；(iii) 改进的不确定性量化（通过嵌套交叉验证和统计检验）排除了一些已报道的线性方法与神经方法之间的差异。基于这些结果，我们主张未来研究应使用我们提出的指南来标准化评估。