ResNorm：通过归一化解决图神经网络中长尾度分布问题
机器学习
2023-09-06 v2
摘要
图神经网络（GNNs）因能从图结构数据中学习表示而备受关注。尽管 GNNs 在许多领域应用成功，其优化研究仍不充分，节点分类性能深受长尾节点度分布影响。本文聚焦于通过归一化提升 GNNs 性能。具体而言，通过研究图中节点度的长尾分布，我们提出一种新颖的 GNN 归一化方法，称为 ResNorm（通过归一化将长尾分布重塑为类正态分布，\textbf{Res}haping the long-tailed distribution into a normal-like distribution via \textbf{norm}alization）。ResNorm 的 操作重塑节点级标准差（NStd）分布，从而提升尾节点（即低度节点）的准确率。我们为理解上述 的机制提供了理论解释与经验证据。除长尾分布问题外，过平滑也是困扰该领域的根本问题。为此，我们分析标准 shift 的行为，并证明标准 shift 充当权重矩阵上的预条件子，增加过平滑风险。考虑到过平滑问题，我们为 ResNorm 设计了一种 操作，以低成本方式模拟度特定参数策略。大量实验在多个节点分类基准数据集上验证了 ResNorm 的有效性。
引用
@article{arxiv.2206.08181,
title = {ResNorm: Tackling Long-tailed Degree Distribution Issue in Graph Neural Networks via Normalization},
author = {Langzhang Liang and Zenglin Xu and Zixing Song and Irwin King and Yuan Qi and Jieping Ye},
journal= {arXiv preprint arXiv:2206.08181},
year = {2023}
}