PairNorm：应对图神经网络中的过平滑问题
机器学习
2020-02-14 v2 机器学习
摘要
已知图神经网络（GNNs）的性能随层数增加而逐渐下降。这种衰减部分归因于过平滑，即重复的图卷积最终使节点嵌入变得不可区分。我们仔细考察了两种不同的解释，旨在量化过平滑现象。我们的主要贡献是PairNorm，一种基于图卷积算子细致分析的新颖归一化层，它防止所有节点嵌入变得过于相似。此外，PairNorm快速、易于实现，无需改变网络架构也无需任何额外参数，并且广泛适用于任何GNN。在真实世界图上的实验表明，PairNorm使更深的GCN、GAT和SGC模型对过平滑更具鲁棒性，并为一个受益于更深GNN的新问题设置显著提升了性能。代码可在 https://github.com/LingxiaoShawn/PairNorm 获取。
引用
@article{arxiv.1909.12223,
title = {PairNorm: Tackling Oversmoothing in GNNs},
author = {Lingxiao Zhao and Leman Akoglu},
journal= {arXiv preprint arXiv:1909.12223},
year = {2020}
}
备注
ICLR 2020 Camera Ready