面向序列推荐的双兴趣分解头注意力机制
信息检索
2023-02-13 v3
摘要
准确的用户兴趣建模对推荐场景至关重要。有效的解决方案之一是依赖点击行为的序列推荐，但在视频信息流推荐中这并不优雅，因为用户被动接收流式内容并返回跳过或不跳过行为。此处跳过与不跳过行为可分别视为负向与正向反馈。在正负反馈混合的情况下，捕捉行为序列的转移模式具有挑战性。为此，FeedRec利用了共享的普通Transformer，这可能不够优雅，因为多头注意力的头交互未考虑不同类型的反馈。本文中，我们提出面向序列推荐的双兴趣分解头注意力机制（简称DFAR），其由反馈感知编码层、双兴趣解耦层和预测层组成。在反馈感知编码层，我们首先假设多头注意力的每个头可捕捉特定反馈关系。进而我们提出分解头注意力，其能屏蔽特定头交互并注入反馈信息，从而分解不同类型反馈间的关系。此外，我们提出双兴趣解耦层，在对正负兴趣的表示进行解耦前先将其分离。最后，我们通过相应塔结构演化正负兴趣，其输出由BPR损失进行对比。在两个真实数据集上的实验显示了我们所提方法相对于最先进基线的优越性。进一步的消融研究与可视化也印证了其有效性。我们在此发布源代码：https://github.com/tsinghua-fib-lab/WWW2023-DFAR。
引用
@article{arxiv.2302.03965,
title = {Dual-interest Factorization-heads Attention for Sequential Recommendation},
author = {Guanyu Lin and Chen Gao and Yu Zheng and Jianxin Chang and Yanan Niu and Yang Song and Zhiheng Li and Depeng Jin and Yong Li},
journal= {arXiv preprint arXiv:2302.03965},
year = {2023}
}