正交图神经网络
机器学习
2021-12-02 v2 人工智能
摘要
图神经网络（GNNs）因在学习节点表示方面的优越性而受到极大关注。这些模型依赖消息传递与特征变换函数来编码来自邻居的结构与特征信息。然而，堆叠更多卷积层会显著降低 GNNs 的性能。近期多数研究将此局限归因于过平滑问题，即节点嵌入收敛为不可区分的向量。通过大量实验观察，我们认为导致性能退化的主要因素是特征变换设计不当（尤其对于尚未发生过度平滑的浅层 GNNs）所引发的前向归一化与反向梯度的不稳定性。因此，我们提出了一种新颖的正交特征变换，称为 Ortho-GConv，它通常可增强现有 GNN 骨干网络以稳定模型训练并提升模型泛化性能。具体而言，我们从混合权重初始化、正交变换与正交正则化三个角度全面维持特征变换的正交性。通过将现有 GNNs（如 GCN、JKNet、GCNII）配备 Ortho-GConv，我们展示了正交特征变换在实现稳定训练上的通用性，并证明了其在节点与图分类任务中的有效性。
引用
@article{arxiv.2109.11338,
title = {Orthogonal Graph Neural Networks},
author = {Kai Guo and Kaixiong Zhou and Xia Hu and Yu Li and Yi Chang and Xin Wang},
journal= {arXiv preprint arXiv:2109.11338},
year = {2021}
}