基于谱系的多模态表示融合图卷积网络用于推荐系统
信息检索
2024-12-20 v1 多媒体
摘要
将多模态特征作为副信息纳入推荐系统是近年来的一个趋势。为了阐明用户-物品偏好，近期研究主要通过拼接、逐元素求和或注意力机制来实现模态融合。尽管这些方法取得了显著的成功，但现有的研究方法未能考虑每种模态中封装的模态特定噪声。因此，对模态进行直接融合会导致跨模态噪声的放大。此外，每种模态特有的噪声变化使得噪声消除和融合变得更加困难。本文提出了一种新的基于谱系的模态表示融合(SMORE)图推荐模型，旨在捕获单模态和融合偏好，同时抑制模态噪声。具体而言，SMORE将多模态特征投射到频域，并利用谱空间进行融合。为减少每种模态特有的动态污染，我们引入了一个滤波器，以自适应方式衰减和抑制模态噪声，同时有效地捕捉通用模态模式。此外，我们设计了一种新的多模态图学习模块来探索物品的潜在结构，从而捕捉相似物品之间的关联语义关联和通用融合模式。最后，我们构建了一个新的模态感知偏好模块，将行为特征融入，并平衡单模态和多模态特征，以实现精确的偏好建模。这赋予了SMORE准确推断用户模态特定偏好和融合偏好的能力。在三个真实数据集上的实验表明，我们提出的方法具有有效性。本作品的源代码已公开发布于 https://github.com/kennethorq/SMORE。
引用
@article{arxiv.2412.14978,
title = {Spectrum-based Modality Representation Fusion Graph Convolutional Network for Multimodal Recommendation},
author = {Rongqing Kenneth Ong and Andy W. H. Khong},
journal= {arXiv preprint arXiv:2412.14978},
year = {2024}
}
备注
Accepted to ACM Web Search and Data Mining (WSDM) 2025