面向图神经网络的图自适应修正线性单元
机器学习
2022-02-15 v1 人工智能
摘要
图神经网络（GNNs）通过将传统卷积扩展到非欧几里得数据上的学习而取得了显著成功。GNNs 的关键在于采用具有两个阶段（聚合与更新）的神经消息传递范式。当前 GNNs 的设计在聚合阶段考虑拓扑信息。然而，在更新阶段，所有节点共享相同的更新函数。相同的更新函数将每个节点嵌入视为独立同分布随机变量，从而忽略了邻域间的隐式关系，这限制了 GNNs 的能力。更新函数通常由线性变换后接非线性激活函数实现。为使更新函数具有拓扑感知，我们将拓扑信息注入非线性激活函数，并提出图自适应修正线性单元（GReLU），这是一种以新颖高效方式融合邻域信息的新型参数化激活函数。GReLU 的参数由基于节点特征及相应邻接矩阵的超函数获得。为降低过拟合风险与计算成本，我们将超函数分解为分别针对节点和特征的两个独立分量。我们进行了全面实验，表明我们即插即用的 GReLU 方法在不同 GNN 骨干网络和各类下游任务下均高效且有效。
引用
@article{arxiv.2202.06281,
title = {Graph-adaptive Rectified Linear Unit for Graph Neural Networks},
author = {Yifei Zhang and Hao Zhu and Ziqiao Meng and Piotr Koniusz and Irwin King},
journal= {arXiv preprint arXiv:2202.06281},
year = {2022}
}
备注
TheWebConf (WWW), 2022