面向图神经网络的无训练跨架构合并
机器学习
2026-02-24 v1
摘要
模型合并已成为一种强大的范式,可以在无需重新训练的高计算成本下组合不同专家模型的能力,但目前的方法从根本上受限于同构架构。然而,对于GNN来说,消息传递是拓扑相关的且对错位敏感,这使得直接的参数空间合并不可靠。为了弥合这一差距,我们引入了H-GRAMA(异构图路由与消息对齐),这是一个无训练框架,将合并从参数空间提升到算子空间。我们形式化了通用消息传递混合(UMPM),这是一个共享算子族,用通用的函数语言表达异构GNN层。H-GRAMA实现了跨架构的GNN合并(例如,从GCN到GAT)而无需重新训练,在大多数兼容深度设置下保留了高专家精度,并实现了比集成方法1.2倍到1.9倍的推理加速。
引用
@article{arxiv.2602.19332,
title = {Training-Free Cross-Architecture Merging for Graph Neural Networks},
author = {Rishabh Bhattacharya and Vikaskumar Kalsariya and Naresh Manwani},
journal= {arXiv preprint arXiv:2602.19332},
year = {2026}
}