gSASRec：降低采用负采样训练的序列推荐模型中的过置信问题
信息检索
2023-08-15 v1 机器学习
摘要
庞大的商品目录规模是训练推荐模型的核心挑战之一：在训练过程中为所有商品计算分数会因商品数量巨大而导致内存与计算效率低下，迫使这些模型采用负采样。然而，负采样提高了训练数据中正交互的比例，因此采用负采样训练的模型往往高估正交互的概率，我们将这一现象称为过置信。虽然预测分数或概率的绝对值对于检索推荐的排序并不重要，但过置信模型可能无法估计排名靠前商品之间的细微差异，从而导致性能下降。在本文中，我们表明过置信解释了流行的 SASRec 模型相较于 BERT4Rec 表现不佳的原因。这与 BERT4Rec 作者所解释的“性能差异源于双向注意力机制”相反。为缓解过置信，我们提出了一种新颖的广义二元交叉熵损失函数（gBCE），并从理论上证明它能够缓解过置信。我们进一步提出了 gSASRec 模型，这是对 SASRec 的改进，采用了更多的负样本与 gBCE 损失。我们通过三个数据集上的详细实验表明，gSASRec 不会出现过置信问题。因此，gSASRec 可以优于 BERT4Rec（例如在 MovieLens-1M 数据集上 NDCG 提升 +9.47%），同时所需训练时间更少（例如在 MovieLens-1M 上训练时间减少 -73%）。此外，与 BERT4Rec 不同，gSASRec 适用于包含超过 100 万商品的大规模数据集。
引用
@article{arxiv.2308.07192,
title = {gSASRec: Reducing Overconfidence in Sequential Recommendation Trained with Negative Sampling},
author = {Aleksandr Petrov and Craig Macdonald},
journal= {arXiv preprint arXiv:2308.07192},
year = {2023}
}
备注
Accepted at ACM RecSys 2023