推荐系统离线评估中数据泄漏问题的批判性研究

推荐模型难以评估,尤其在离线环境下。本文对推荐系统离线评估中的数据泄漏问题进行了全面而批判性的分析。数据泄漏由评估推荐系统时未遵循全局时间线引起,例如训练/测试数据划分未遵循全局时间线。结果,模型从预测时刻本不应可用的用户-物品交互中学习。我们首先展示了沿全局时间线的用户-物品交互的时间动态,然后解释了协同过滤模型为何存在数据泄漏。通过精心设计的实验,我们表明所有模型确实推荐了在测试实例时间点不可用的未来物品,此为数据泄漏的结果。实验采用留一法数据划分,在四个广泛使用的基线模型——BPR、NeuMF、SASRec和LightGCN,以及四个流行离线数据集——MovieLens-25M、Yelp、Amazon-music和Amazon-electronic上进行。我们进一步表明数据泄漏确实影响模型的推荐精度。因此,随着训练中泄漏未来数据量的不同,它们的相对性能排序变得不可预测。为了在离线环境下以真实方式评估推荐系统,我们提出了一种时间线方案,呼吁对推荐模型设计进行重新审视。