图神经网络的模式连通性解析
机器学习
2025-02-19 v1 人工智能
摘要
理解图神经网络（GNNs）的一个根本挑战在于刻画其优化动力学和损失景观几何，这对提高可解释性和鲁棒性至关重要。虽然模式连通性（mode connectivity）作为分析损失景观几何属性的工具已为其他深度学习 架构提供了有见解，但其对 GNNs 的意义尚未探讨。本文首次考察 GNNs 的模式连通性。我们发现 GNNs 表现出独特的非线性模式连通性，与完全连接网络或 CNN 中观察到的模式不同。关键在于，图的结构而非模型架构主导了这种行为，图的属性如同质性（homophily）与模式连通性模式密切相关。我们进一步在模式连通性与泛化之间建立了联系，提出基于损失垫（loss barriers）的泛化界限，并阐明其作为诊断工具的实用性。我们的发现进一步将理论洞察与实际应用相结合：它们合理化了图学习中的域对齐策略，为细化 GNN 训练范式提供了基础。
引用
@article{arxiv.2502.12608,
title = {Unveiling Mode Connectivity in Graph Neural Networks},
author = {Bingheng Li and Zhikai Chen and Haoyu Han and Shenglai Zeng and Jingzhe Liu and Jiliang Tang},
journal= {arXiv preprint arXiv:2502.12608},
year = {2025}
}