一种深度图神经网络架构设计：从全局金字塔式收缩骨架到局部拓扑连边重连
机器学习
2020-12-17 v1 人工智能
摘要
表达能力在评估深度神经网络中起着基础性作用，并且它与理解性能提升的极限密切相关。本文提出一种基于关键表达能力的三阶段训练框架，包括全局模型收缩、权重演化和连边权重重连。具体而言，我们提出一种金字塔式骨架以克服影响信息传输的鞍点。随后我们分析了网络拓扑中模块性（聚类）现象的成因，并利用它来重连潜在的错误加权连边。我们在节点分类上进行了数值实验，结果证实所提训练框架在快速收敛和对潜在错误加权连边的鲁棒性方面带来了显著性能提升。对 GNN 的架构设计反过来从动力学和拓扑空间角度验证了 GNN 的表达能力，并为设计更高效的神经网络提供了有用指导。
引用
@article{arxiv.2012.08717,
title = {A Deep Graph Neural Networks Architecture Design: From Global Pyramid-like Shrinkage Skeleton to Local Topology Link Rewiring},
author = {Gege Zhang},
journal= {arXiv preprint arXiv:2012.08717},
year = {2020}
}
备注
11 pages, 5 figures, conference