GRANOLA：用于图神经网络的自适应归一化
机器学习
2024-11-04 v2 人工智能
摘要
近年来，人们致力于改进图神经网络（GNN）层的设计，以克服有限的表达力和过平滑等多样挑战。尽管归一化层（如 BatchNorm 或 InstanceNorm）在 GNN 架构中得到广泛应用，但可能无法有效捕捉图结构数据的独特特征，potentially 降低整体架构的表达力。此外，现有的图特定归一化层往往难以提供实质性且持续的益处。本文提出了 GRANOLA，一种新颖的图自适应归一化层。与现有归一化层不同，GRANOLA 通过适应图的特定特征来归一化节点特征，尤其是通过利用随机节点特征（Random Node Features, RNF）在图中的传播，生成其邻域结构的表达性表示。我们给出理论结果支持设计选择。广泛的实验评估表明，GRANOLA 在各种图基准任务中优于现有归一化技术。此外，在消息传递神经网络（MPNNs）相同时间复杂度下，GRANOLA 成为所有基线方法中表现最好的。
引用
@article{arxiv.2404.13344,
title = {GRANOLA: Adaptive Normalization for Graph Neural Networks},
author = {Moshe Eliasof and Beatrice Bevilacqua and Carola-Bibiane Schönlieb and Haggai Maron},
journal= {arXiv preprint arXiv:2404.13344},
year = {2024}
}
备注
NeurIPS 2024