压缩图神经网络的通用配方——技术报告
机器学习
2024-11-05 v1 机器学习
摘要
图神经网络（GNN）因其表达能力和可扩展性，在学习图结构数据表示方面获得了广泛关注。然而，尽管在社交网络分析、推荐系统和生物信息学等领域取得了成功，GNN 常常面临与稳定性、泛化能力以及对噪声和对抗攻击的鲁棒性相关的挑战。正则化技术通过控制模型复杂度和提升鲁棒性，在解决这些挑战方面展现了前景。基于近期压缩 GNN 架构的进展，本文提出了一种通过 SVD 正则化在任何 GNN 中诱导压缩行为的新方法。通过推导更新步骤中压缩性的充分条件并对网络参数施加约束，我们展示了 SVD 正则化对 GNN 的 Lipschitz 常数的影响。我们的发现强调了 SVD 正则化在增强 GNN 的稳定性和泛化能力方面的作用，为开发更鲁棒的基于图的学习算法动力学做出了贡献。
引用
@article{arxiv.2411.01717,
title = {A General Recipe for Contractive Graph Neural Networks -- Technical Report},
author = {Maya Bechler-Speicher and Moshe Eliasof},
journal= {arXiv preprint arXiv:2411.01717},
year = {2024}
}