面向图神经网络集成的多样化图专家训练：系统经验研究
机器学习
2025-10-22 v1
摘要
图神经网络（GNN）已成为学习关系数据中的关键工具，但单个 GNN 的性能往往受现实图中异构性的限制。最近的混合专家（MoE）框架显示，组装多个具有不同泛化模式的显式多样化 GNN 能显著提升性能。在本工作中，我们进行了 GNN 集成中专家级多样化技术的首个系统经验研究。我们在 14 个节点分类基准上评估了 20 种多样化策略——包括随机重新初始化、超参数调优、架构变化、方向性建模和训练数据分区——构建并分析了超过 200 个集成变体。我们的全面评估检视了每种技术在专家多样性、互补性和集成性能方面的作用。我们还发现了训练最大化多样化专家的机制性见解。这些发现为专家训练和有效图数据 MoE 框架的设计提供了可操作指导。我们的代码可在 https://github.com/Hydrapse/bench-gnn-diversification 上获取。
引用
@article{arxiv.2510.18370,
title = {Training Diverse Graph Experts for Ensembles: A Systematic Empirical Study},
author = {Gangda Deng and Yuxin Yang and Ömer Faruk Akgül and Hanqing Zeng and Yinglong Xia and Rajgopal Kannan and Viktor Prasanna},
journal= {arXiv preprint arXiv:2510.18370},
year = {2025}
}