基于双向 Transformer 对比学习的序列推荐

基于 Transformer 序列编码器的对比学习在序列推荐中已占据主导地位。该方法最大化具有相似语义的成对序列增广之间的一致性。然而,序列推荐中现有的对比学习方法主要以从左到右的单向 Transformer 作为基础编码器,这对于序列推荐是次优的,因为用户行为未必是严格的从左到右序列。为此,我们提出了一种名为 \textbf{C}ontrastive learning with \textbf{Bi}directional \textbf{T}ransformers for sequential recommendation (\textbf{CBiT},基于双向 Transformer 的序列推荐对比学习)的新框架。具体而言,我们首先在双向 Transformer 中对长用户序列应用滑动窗口技术,从而实现对用户序列更细粒度的划分。随后,我们结合完形填空任务掩码与 dropout 掩码来生成高质量正样本,并执行多对对比学习,相较于普通的单对对比学习展现出更优的性能与适应性。此外,我们引入了一种新颖的动态损失重加权策略,以平衡完形填空任务损失与对比损失。在三个公开基准数据集上的实验结果表明,我们的模型优于序列推荐的当前最优模型。