RecJPQ：训练大规模目录的序列推荐模型

序列推荐是一项流行的推荐任务，它利用用户-物品交互的顺序来建模用户不断演变的兴趣及其行为中的序列模式。当前最先进的基于 Transformer 的序列推荐模型，如 BERT4Rec 和 SASRec，会生成序列嵌入并为目录中的物品计算得分，但日益增长的目录规模使得训练这些模型成本高昂。联合乘积量化（JPQ）方法最初为段落检索提出，通过用有限数量的共享子嵌入替换段落嵌入，显著减小了检索索引的大小，同时对模型效果影响极小。本文引入了 RecJPQ，这是 JPQ 在序列推荐中的一种新颖改编，它取代了物品嵌入张量，将物品嵌入替换为有限数量共享子嵌入的拼接，从而限制了可学习模型参数的数量。RecJPQ 的主要思想是在训练主推荐模型之前将物品拆分为子物品实体，这受到语言模型中将单词拆分为词元并训练分词器的启发。我们在三个大规模序列数据集上将 RecJPQ 应用于 SASRec、BERT4Rec 和 GRU4rec 模型。结果表明，RecJPQ 能显著减小模型规模（例如，在 Gowalla 数据集上减少 48% 且无效果下降）。RecJPQ 还能通过正则化效应提升模型性能（例如，在 Booking.com 数据集上 NDCG@10 提升 0.96%）。总体而言，RecJPQ 使得在拥有数百万物品的常见工业应用数据集中训练最先进的 Transformer 推荐模型成为可能。