谱图神经网络的非对称学习
机器学习
2024-12-17 v1
摘要
优化谱图神经网络（GNN）仍是该领域的关键挑战，但其底层过程尚未被充分理解。本文研究了谱GNN中图卷积参数与特征变换参数之间的固有差异及其对优化景观的影响。我们的分析表明，这些差异导致问题条件数不佳，从而产生次优性能。为解决此问题，我们引入了海森矩阵的块条件数概念，该概念刻画了谱GNN优化中条件数不佳问题的难度。随后，我们提出了一种非对称学习方法，在训练过程中动态预处理梯度以缓解条件数不佳问题。理论上，我们证明了非对称学习可以降低块条件数，从而简化优化过程。在十八个基准数据集上的大量实验表明，非对称学习能够持续提升谱GNN在异配图和同配图上的性能。这种改进在异配图上尤为显著，因为其优化过程通常比同配图更为复杂。代码可在 https://github.com/Mia-321/asym-opt.git 获取。
引用
@article{arxiv.2412.11739,
title = {Asymmetric Learning for Spectral Graph Neural Networks},
author = {Fangbing Liu and Qing Wang},
journal= {arXiv preprint arXiv:2412.11739},
year = {2024}
}