图神经网络损失景观的可视化与分析
机器学习
2025-09-16 v1
摘要
图神经网络（GNN）是处理图结构数据的强大模型，具有广泛应用。然而，GNN 参数优化、表达性和泛化之间的相互作用仍鲜有了解。我们通过引入一种高效可学习的降维方法来可视化 GNN 损失景观，进而分析过平滑、跳跃知识、量化、稀疏化以及预条件化对 GNN 优化的影响。我们的可学习投影方法超越了基于 PCA 的最新方法，实现了对高维参数的精确重建且内存占用更低。我们进一步表明，网络结构、稀疏化以及优化器的预条件化对 GNN 优化景观、训练过程及最终预测性能具有显著影响。这些见解有助于开发更高效的 GNN 架构设计和训练策略。
引用
@article{arxiv.2509.11792,
title = {Visualization and Analysis of the Loss Landscape in Graph Neural Networks},
author = {Samir Moustafa and Lorenz Kummer and Simon Fetzel and Nils M. Kriege and Wilfried N. Gansterer},
journal= {arXiv preprint arXiv:2509.11792},
year = {2025}
}