节点特异层聚合与过滤：图神经网络中的 NoSAF 框架
机器学习
2024-05-14 v1
摘要
虽然不断设计的图神经网络为图结构数据建模开辟了前景，但不幸引入了两个顽固障碍：(I) 大多数现有 GNN 都较浅，主要是由于在更深的卷积架构中出现过平滑和梯度消失问题。(II) 大多数 GNN 都遵循 homophily 假设，即中心节点及其相邻节点共享相同标签。这一假设常常给许多处理异质性图的 GNN 带来挑战。针对上述问题已成为增强 GNN 应用鲁棒性和可扩展性的迫切挑战。本文首次提出一种全面且系统的方法来克服上述两个挑战。我们提出了节点特异层聚合与过滤架构，称为 NoSAF，是一个能够过滤和处理每个 individual 节点信息的框架。NoSAF 引入“所有节点并非平等”的概念到每个网络层，旨在为每个节点的层提供可靠的信息过滤器，以筛选有利于后续层的信息。通过纳入动态更新的 codebank，NoSAF 在每个层动态优化向下输出的 optimal 信息。这有效克服了异质性问题，助力加深网络。为补偿 NoSAF 持续过滤造成的信息损失，我们还提出了 NoSAF-D（Deep），该方法纳入补偿机制，在模型的每个层中补充信息，使 NoSAF 即使在非常深的层中也能进行有意义的计算。
引用
@article{arxiv.2405.07892,
title = {All Nodes are created Not Equal: Node-Specific Layer Aggregation and Filtration for GNN},
author = {Shilong Wang and Hao Wu and Yifan Duan and Guibin Zhang and Guohao Li and Yuxuan Liang and Shirui Pan and Kun Wang and Yang Wang},
journal= {arXiv preprint arXiv:2405.07892},
year = {2024}
}