化废为金损失：BERT4Rec 真的优于 SASRec 吗？
信息检索
2023-09-15 v1 人工智能
机器学习
摘要
近年来，序列推荐与下一项预测任务在推荐系统领域日益流行。目前，两个最先进的基线是基于 Transformer 的模型 SASRec 与 BERT4Rec。过去几年中，已有不少论文比较这两种算法并提出新的最先进模型。在大多数论文中，BERT4Rec 取得了优于 SASRec 的性能。但 BERT4Rec 对所有物品使用基于 softmax 的交叉熵，而 SASRec 使用负采样并为一条正样本与一条负样本计算二元交叉熵损失。在我们的工作中，我们展示若两模型均以 BERT4Rec 所用的相同损失训练，则 SASRec 将在质量与训练速度上显著优于 BERT4Rec。此外，我们展示 SASRec 可通过负采样被有效训练，且仍优于 BERT4Rec，但负样本数量应远大于一。
引用
@article{arxiv.2309.07602,
title = {Turning Dross Into Gold Loss: is BERT4Rec really better than SASRec?},
author = {Anton Klenitskiy and Alexey Vasilev},
journal= {arXiv preprint arXiv:2309.07602},
year = {2023}
}