具有全局Transformer的模态独立图神经网络用于多模态推荐
社会与信息网络
2024-12-19 v1 机器学习
摘要
多模态推荐系统可以从现有的用户-物品交互以及物品相关的多模态数据语义中学习用户偏好。许多现有方法通过多模态用户-物品图来建模，将多模态推荐视为图学习任务。图神经网络（GNN）在该领域显示出有前景的性能。先前的研究利用GNN在特定感受野（通常由跳数表示）内捕获邻域信息的能力来丰富用户和物品语义。我们观察到，GNN的最优感受野可能因不同模态而异。在本文中，我们提出了具有模态独立感受野的GNN，它为不同模态使用具有独立感受野的独立GNN以提升性能。我们的结果表明，在某些数据集上，特定模态的最优可能低至1或2，这可能限制GNN捕获全局信息的能力。为了解决这个问题，我们引入了一种基于采样的全局Transformer，它利用均匀全局采样有效地为GNN整合全局信息。我们进行了全面的实验，证明了我们的方法优于现有方法。我们的代码公开在https://github.com/CrawlScript/MIG-GT。
引用
@article{arxiv.2412.13994,
title = {Modality-Independent Graph Neural Networks with Global Transformers for Multimodal Recommendation},
author = {Jun Hu and Bryan Hooi and Bingsheng He and Yinwei Wei},
journal= {arXiv preprint arXiv:2412.13994},
year = {2024}
}
备注
Accepted by AAAI 2025