论图神经网络中稳定性与表示能力的权衡
信号处理
2023-12-06 v1 机器学习
摘要
分析图神经网络（GNN）在拓扑扰动下的稳定性是理解其可迁移性以及每个架构组件作用的关键。然而，稳定性仅针对特定架构进行了研究，这引发了它是否适用于更广泛的 GNN 还是仅适用于少数实例的疑问。为了回答这个问题，我们研究了 EdgeNet 的稳定性：这是一个通用的 GNN 框架，统一了包括卷积和基于注意力的类别，以及图同构网络和混合架构在内的二十多种解决方案。我们证明了 EdgeNet 框架内的所有 GNN 对拓扑扰动都是稳定的。通过研究不同 EdgeNet 类别对稳定性的影响，我们表明在其参数空间中自由度较少、与较低表示能力相关的 GNN 更稳定。产生这种权衡的关键因素是 EdgeNet 参数矩阵与图移位算子之间的特征向量错位。例如，为每个信号移位分配单个标量（因此具有完美对齐）的图卷积神经网络比更复杂的节点或边缘变化的对应物更稳定。广泛的数值结果证实了我们的理论发现，并突出了不同架构组件在这种权衡中的作用。
引用
@article{arxiv.2312.02372,
title = {On the Trade-Off between Stability and Representational Capacity in Graph Neural Networks},
author = {Zhan Gao and Amanda Prorok and Elvin Isufi},
journal= {arXiv preprint arXiv:2312.02372},
year = {2023}
}