序列推荐中用于侧信息融合的非侵入式自注意力机制
信息检索
2021-03-08 v1
摘要
序列推荐系统旨在从用户的历史行为中建模其演化的兴趣，从而做出定制的与时间相关的推荐。相比传统模型，CNN 与 RNN 等深度学习方法在推荐任务中取得了显著进展。近来，BERT 框架也因其在处理序列数据时的自注意力机制而成为有前景的方法。然而，原始 BERT 框架的一个局限是它仅考虑自然语言 token 的单一输入源。在 BERT 框架下如何利用多种类型的信息仍是一个开放问题。尽管如此，直观地利用如物品类别或标签等其他侧信息以进行更全面的刻画和更好的推荐是具有吸引力的。在我们的初步实验中，我们发现将侧信息类型直接融合进物品嵌入的朴素方法通常带来极小甚至负面的效果。因此，本文提出非侵入式自注意力机制（NOVA）以在 BERT 框架下有效利用侧信息。NOVA 利用侧信息生成更好的注意力分布，而非直接改变物品嵌入，后者可能导致信息淹没。我们在公开与商业数据集上验证了 NOVA-BERT 模型，我们的方法能以可忽略的计算开销稳定地优于 SOTA 模型。
引用
@article{arxiv.2103.03578,
title = {Non-invasive Self-attention for Side Information Fusion in Sequential Recommendation},
author = {Chang Liu and Xiaoguang Li and Guohao Cai and Zhenhua Dong and Hong Zhu and Lifeng Shang},
journal= {arXiv preprint arXiv:2103.03578},
year = {2021}
}
备注
Accepted at AAAI 2021