GNNMerge：无需访问训练数据的图神经网络模型合并
机器学习
2025-03-28 v2
摘要
模型合并在机器学习中作为一种在不访问原始训练数据的情况下将多个训练模型整合为单一模型的方法而受到广泛关注。尽管现有方法在计算机视觉和 NLP 等领域已取得成功，但其在图神经网络（GNN）中的应用尚未被探索。这些方法通常依赖于共享初始化假设，而该假设很少适用于 GNN。在本工作中，我们对 GNN 的模型合并算法进行了首次基准测试研究，揭示了其在此上下文中的有限效果。为应对这些挑战，我们提出了 GNNMerge，它利用任务无关的节点嵌入对齐策略来合并 GNN。此外，我们证明在温和松弛条件下，所提出的优化目标对广泛使用的 GNN 架构存在直接解析解，显著提升了计算效率。在多样化数据集、任务和架构上的实证评估表明，GNNMerge 比现有方法准确率高出 24%，同时相比从头训练实现了超过两个数量级的加速。
引用
@article{arxiv.2503.03384,
title = {GNNMerge: Merging of GNN Models Without Accessing Training Data},
author = {Vipul Garg and Ishita Thakre and Sayan Ranu},
journal= {arXiv preprint arXiv:2503.03384},
year = {2025}
}