基于消息传递的 SIGIR 2022 推荐系统论文可重复性与制品一致性分析
信息检索
2026-03-30 v2 数字图书馆
机器学习
神经与进化计算
摘要
基于神经网络和嵌入的图技术已广受关注，作为开发推荐系统（RS）的一种方法，2022 和 2023 年在 SIGIR 上提交了若干关于该主题的论文。鉴于确保已发布研究在方法论上严谨且可重复的重要性，本文分析了 10 篇基于图的 RS 论文，其中大多数论文发表于 SIGIR 2022，并评估了其对 2023 年后续发表论文的影响。我们的分析揭示了若干关键问题需要关注：（i）差行为的盛行，如错误的数据划分或训练和测试数据之间的信息泄露，这些问题动摇了结果的有效性；（ii）提供的制品（源代码和数据）与论文描述之间的频繁不一致，导致对实际评估内容的不确定性；（iii）偏好使用新颖或复杂的基线方法，这些基线方法比简单方法更弱，导致即使在以 Amazon-Book 数据集为例时，最新方法显著退化，仍给人以持续改进的印象。鉴于这些问题，我们无法确认我们检查的大多数论文所作出的声明，并尝试进行复现。
引用
@article{arxiv.2503.07823,
title = {Reproducibility and Artifact Consistency of the SIGIR 2022 Recommender Systems Papers Based on Message Passing},
author = {Maurizio Ferrari Dacrema and Michael Benigni and Nicola Ferro},
journal= {arXiv preprint arXiv:2503.07823},
year = {2026}
}