面向深度图神经网络的狄利克雷能量约束学习
机器学习
2021-07-07 v1
摘要
图神经网络（GNNs）将深度架构与拓扑结构建模有效结合。然而，现有 GNNs 在堆叠多层时性能会显著下降，原因在于过平滑问题。当 GNNs 持续递归聚合邻居表示时，节点嵌入趋于收敛为相似向量。为使 GNNs 加深，近期已有若干方法探索，但它们源于卷积神经网络技术或启发式策略，缺乏可泛化且理论性的原则以指导深度 GNNs 设计。为此，我们利用节点嵌入的狄利克雷能量分析深度 GNNs 的瓶颈，并提出可指导深度 GNNs 训练的泛化原则。基于此，设计了一种新颖深度 GNN 框架——EGNN。它可在每一层提供狄利克雷能量的下界与上界约束以避免过平滑。实验结果表明，EGNN 利用深层取得了业界最优性能。
引用
@article{arxiv.2107.02392,
title = {Dirichlet Energy Constrained Learning for Deep Graph Neural Networks},
author = {Kaixiong Zhou and Xiao Huang and Daochen Zha and Rui Chen and Li Li and Soo-Hyun Choi and Xia Hu},
journal= {arXiv preprint arXiv:2107.02392},
year = {2021}
}