注意力引导多步融合:一种用于多模态推荐的层次化融合网络
信息检索
2023-04-25 v1 多媒体
摘要
多模态推荐的核心思想在于合理利用物品的多模态信息以提升推荐性能。以往工作直接将物品多模态特征与物品ID嵌入相整合,忽略了多模态特征中蕴含的固有语义关系。本文提出一种新颖有效的用于多模态推荐的注意力引导多步融合网络,命名为TMFUN。具体而言,我们的模型首先构建模态特征图与物品特征图以建模潜在的物品-物品语义结构。随后,我们利用注意力模块识别用户-物品交互数据与多模态数据之间的内在联系,评估多模态数据对不同交互的影响,并实现物品特征的早期融合。此外,我们的模型通过注意力引导多步融合策略与对比学习优化物品表示,以提升推荐性能。在三个真实世界数据集上的大量实验表明,我们的模型相比当前最优模型具有更优性能。
引用
@article{arxiv.2304.11979,
title = {Attention-guided Multi-step Fusion: A Hierarchical Fusion Network for Multimodal Recommendation},
author = {Yan Zhou and Jie Guo and Hao Sun and Bin Song and Fei Richard Yu},
journal= {arXiv preprint arXiv:2304.11979},
year = {2023}
}