将模态视为异质性：基于节点分割和图重构的多模态图学习
机器学习
2026-02-03 v1 人工智能
摘要
多模态图由于其丰富的表征能力和广泛的应用前景，正日益受到关注，但由于严重的模态混淆问题，仍面临 substantial 挑战。为解决此问题，我们提出了NSG（Node Splitting Graph）-MoE框架，集成了节点分割和图重构机制，同时引入结构化混合专家（Mixture-of-Experts, MoE）架构。该方法显式地将每个节点分解为模态特定组件，并分配具有关联性的专家来处理异构消息流，从而在缓解常见于通用图神经网络中不良混合效应的同时，保留结构信息和多模态语义。对三个多模态基准进行的广泛实验表明，NSG-MoE consistently 超过强基线。尽管采用了MoE——这通常计算负担沉重——但我们的方法在训练效率方面仍具有竞争力。除实证结果外，我们提供的谱分析揭示了NSG对模态特定子空间执行自适应滤波，从而解释了其解耦行为。进一步的，信息论分析显示，NSG所施加的架构约束降低了数据与参数之间的互信息，从而提高了泛化能力。
引用
@article{arxiv.2602.00067,
title = {Modality as Heterogeneity: Node Splitting and Graph Rewiring for Multimodal Graph Learning},
author = {Yihan Zhang and Ercan E. Kuruoglu},
journal= {arXiv preprint arXiv:2602.00067},
year = {2026}
}