基于模态相互影响的表征学习：多模态异构网络中节点的分类
机器学习
2025-06-23 v3 人工智能
摘要
当今众多在线平台可描述为多模态异构网络（MMHN），例如豆瓣的电影网络和亚马逊的产品评论网络。准确对网络中的节点进行分类对于分析相应实体至关重要，这需要有效的节点表征学习。然而，现有的多模态融合方法往往采用早期融合策略，可能丢失单个模态的独特特征，或采用后期融合方法，忽视基于图神经网络的信息传播中的跨模态指导。在本文中，我们提出了一种用于 MMHN 中节点分类的新型模型，称为具有跨模态注意力的异构图神经网络（HGNN-IMA）。它通过捕获信息传播过程中多个模态之间的相互影响，在异构图变换器框架内学习节点表征。具体而言，集成嵌套的跨模态注意力机制于节点间注意力之中，以实现自适应的多模态融合，并考虑模态对齐，以鼓励在所有模态上保持相似性的节点之间的传播。此外，还增补注意力损失以减轻缺失模态的影响。广泛的实验验证表明，该模型在节点分类任务中表现优异，为处理伴随网络结构的多模态数据提供了一种创新的视角。
引用
@article{arxiv.2505.07895,
title = {Representation Learning with Mutual Influence of Modalities for Node Classification in Multi-Modal Heterogeneous Networks},
author = {Jiafan Li and Jiaqi Zhu and Liang Chang and Yilin Li and Miaomiao Li and Yang Wang and Hongan Wang},
journal= {arXiv preprint arXiv:2505.07895},
year = {2025}
}