自适应图残差专家混合：基于异构专精性的图结构无监督学习
机器学习
2025-10-27 v1
摘要
图神经网络 (GNN) 面临一个根本性的可适应性挑战：其固定的消息传递架构难以应对真实图结构的巨大多样性，其中不同局部结构和任务的最优计算策略各不相同。虽然混合专家 (MoE) 提供了一个可望达到的可适应性路径，但现有的图 MoE 方法仍受限于依赖监督信号且在训练异构专家时不稳定。我们引入 ADaMoRE (Adaptive Mixture of Residual Experts)，一个原则性框架，使其能够在图结构上实现稳健、完全无监督的异构 MoE 训练。ADaMoRE 采用基于主干-残差专家的架构，其中基础编码器提供稳定性，而专门的残差专家捕获多样化的计算模式。结构感知的门控网络执行细粒度的节点路由。整个架构通过统一的无监督目标函数进行端到端训练，将主要的重建任务与信息论多样性正则化器集成，以显式强制专家之间功能专精。理论分析确认我们的设计提高了数据效率和训练稳定性。在16个基准测试中进行的广泛评估表明，ADaMoRE 在无监督节点分类和少样本学习方面实现了领先的性能，同时在多样化图结构和任务上表现出更好的泛化能力、训练效率和更快的收敛速度。
引用
@article{arxiv.2510.21207,
title = {Adaptive Graph Mixture of Residual Experts: Unsupervised Learning on Diverse Graphs with Heterogeneous Specialization},
author = {Yunlong Chu and Minglai Shao and Zengyi Wo and Bing Hao and Yuhang Liu and Ruijie Wang and Jianxin Li},
journal= {arXiv preprint arXiv:2510.21207},
year = {2025}
}