高阶 GNN 遇上效率：稀疏索博列夫图神经网络
机器学习
2024-11-08 v1 信号处理
摘要
图神经网络（GNN）在建模图中节点间关系方面展现出巨大潜力，但捕捉高阶关系对大规模网络而言仍是一个挑战。此前研究主要尝试利用图中高阶邻居的信息，涉及引入移位算子的幂次，如图拉普拉斯矩阵或邻接矩阵。这种方法在计算和内存需求方面存在权衡。依赖图谱理论，我们做出了一个基本观察：拉普拉斯矩阵的常规幂与哈达玛积幂在谱上表现相似。这一观察对 GNN 在节点分类和半监督学习等各种任务中捕捉高阶信息具有深远意义。因此，我们提出了一种基于图信号稀疏索博列夫范数的新图卷积算子。我们的方法称为稀疏索博列夫图神经网络（S2-GNN），利用矩阵间的哈达玛积来维持图表示中的稀疏性。S2-GNN 利用具有递增哈达玛幂的级联滤波器来生成一组多样化的函数。我们从理论上分析了 S2-GNN 的稳定性，以证明模型对可能图扰动的鲁棒性。我们还在各种图挖掘、半监督节点分类和计算机视觉任务上对 S2-GNN 进行了全面评估。在特定使用场景中，我们的算法在性能和运行时间方面与最先进的 GNN 相比展现出竞争力。
引用
@article{arxiv.2411.04570,
title = {Higher-Order GNNs Meet Efficiency: Sparse Sobolev Graph Neural Networks},
author = {Jhony H. Giraldo and Aref Einizade and Andjela Todorovic and Jhon A. Castro-Correa and Mohsen Badiey and Thierry Bouwmans and Fragkiskos D. Malliaros},
journal= {arXiv preprint arXiv:2411.04570},
year = {2024}
}