序列推荐系统中的自适应多模态融合
信息检索
2023-08-31 v1
摘要
在序列推荐中,多模态信息(如文本或图像)可提供更全面的物品画像视角。将模态特征融合进物品表征的最佳阶段(早期或晚期)仍存在争议。我们提出一种基于图的方法(名为MMSR),以自适应顺序融合模态特征,使每种模态可优先关注其固有的序列特性或与其他模态的相互作用。MMSR将每位用户的历史表示为图,其中用户历史序列中每个物品的模态特征由交叉链接的节点表示。同质节点间的边表示模态内序列关系,异质节点间的边表示模态间相互依赖关系。在图传播过程中,MMSR引入双重注意力以区分同质与异质邻居。为自适应地为节点分配不同的融合顺序,MMSR允许各节点表征通过更新门异步更新。在模态呈现较强序列关系时,更新门优先更新同质节点;反之,当模态间相互依赖关系更显著时,更新门优先更新异质节点。因此,MMSR建立了从早期到晚期模态融合的连续谱融合顺序。在六个数据集上的实验中,MMSR持续优于最先进模型,且我们的图传播方法超越其他图神经网络。此外,MMSR可自然处理缺失模态。
引用
@article{arxiv.2308.15980,
title = {Adaptive Multi-Modalities Fusion in Sequential Recommendation Systems},
author = {Hengchang Hu and Wei Guo and Yong Liu and Min-Yen Kan},
journal= {arXiv preprint arXiv:2308.15980},
year = {2023}
}
备注
CIKM'2023