BERT4Rec 用于序列推荐的系统性综述与可复现性研究
摘要
BERT4Rec 是一种基于 Transformer 架构的序列推荐有效模型。在原始发表中，BERT4Rec 声称优于其他可用的序列推荐方法（例如 SASRec），并且现在频繁被用作序列推荐的 state-of-the-art 基线。然而，并非所有后续发表都证实了该结果，并提出其他被显示有效性上优于 BERT4Rec 的模型。在本文中，我们系统性地综述了所有将 BERT4Rec 与另一个流行的基于 Transformer 的模型即 SASRec 进行比较的发表，并表明在这些发表中 BERT4Rec 的结果并不一致。为理解此不一致背后的原因，我们分析了 BERT4Rec 的可用实现，并表明在使用其默认配置参数时无法复现原始 BERT4Rec 发表的结果。然而，若相较于默认配置训练远更长时间（至多 30 倍），我们能用原始代码复现所报告的结果。我们还提出了基于 Hugging Face Transformers 库的 BERT4Rec 自有实现，证明其能在 4 个数据集中 3 个上复现最初报告的结果，同时收敛所需训练时间至多减少 95%。总体而言，从我们的系统性综述与详细实验，我们得出结论：BERT4Rec 确实展现出序列推荐的 state-of-the-art 有效性，但仅在训练足够长时间时。此外，我们展示了我们的实现可进一步受益于适配 Hugging Face Transformers 库中可用的其他 Transformer 架构（例如使用 DeBERTa 提供的解缠注意力，或更大的隐藏层规模参见 ALBERT）。
引用
@article{arxiv.2207.07483,
title = {A Systematic Review and Replicability Study of BERT4Rec for Sequential Recommendation},
author = {Aleksandr Petrov and Craig Macdonald},
journal= {arXiv preprint arXiv:2207.07483},
year = {2022}
}
备注
This paper is accepted at the Reproducibility track of the ACM RecSys '22 conference