通过偏好编辑改进基于 Transformer 的序列推荐器
信息检索
2021-06-24 v1
摘要
序列推荐（SR）的关键挑战之一是如何提取和表示用户偏好。传统 SR 方法依赖下一物品作为监督信号来指导偏好提取与表示。我们提出一种名为偏好编辑的新型学习策略。其思想是迫使 SR 模型区分用户与推荐系统之间不同交互序列中的共同偏好与独特偏好。通过此举，SR 模型能够学习如何识别共同与独特的用户偏好，从而更好地进行用户偏好提取与表示。我们提出一种基于 Transformer 的 SR 模型，名为 MrTransformer（多偏好 Transformer），它在序列前拼接若干特殊 token 以表示多种用户偏好，并通过偏好覆盖机制确保它们捕捉不同方面。随后，我们为训练 MrTransformer 设计了一种基于偏好编辑的自监督学习机制，包含两种主要操作：偏好分离与偏好重组。前者对给定序列对分离共同与独特用户偏好；后者交换共同偏好以获得各序列的重组用户偏好。基于偏好分离与重组操作，我们定义了两类 SSL 损失，要求重组偏好与原始偏好相似，且共同偏好彼此接近。我们在两个基准数据集上进行了充分实验。带有偏好编辑的 MrTransformer 在 Recall、MRR 和 NDCG 上显著优于 SOTA SR 方法。我们发现，用户偏好更难提取与表示的长序列从偏好编辑中获益最大。
引用
@article{arxiv.2106.12120,
title = {Improving Transformer-based Sequential Recommenders through Preference Editing},
author = {Muyang Ma and Pengjie Ren and Zhumin Chen and Zhaochun Ren and Huasheng Liang and Jun Ma and Maarten de Rijke},
journal= {arXiv preprint arXiv:2106.12120},
year = {2021}
}
备注
22 pages, 2 figures