面向深度图卷积网络的结构感知DropEdge
机器学习
2023-06-22 v1
摘要
研究发现,当堆叠多个层时,图卷积网络(GCNs)性能出现显著下降。深层GCN失效的主要原因在于过平滑,其随着网络深度增加使网络输出与输入隔离,削弱表达力与可训练性。本文从研究对DropEdge(一种缓解过平滑的简单而有效技术)的精细化措施入手。我们称方法为DropEdge++,因其相较DropEdge具有两个结构感知采样器:层依赖采样器和特征依赖采样器。关于层依赖采样器,我们有趣地发现,从底层逐层增加采样边比递减式采样及DropEdge表现更优。我们用平均边数(MEN)——一个与过平滑密切相关的指标——从理论上揭示该现象。对于特征依赖采样器,我们将边采样概率与节点对特征相似度关联,并证明它进一步将输出层的收敛子空间与输入特征相关联。在包括全监督与半监督任务的数个节点分类基准上的大量实验,展示了DropEdge++的功效及其与多种骨干网络的兼容性,相较DropEdge和无丢弃版本取得普遍更优性能。
引用
@article{arxiv.2306.12091,
title = {Structure-Aware DropEdge Towards Deep Graph Convolutional Networks},
author = {Jiaqi Han and Wenbing Huang and Yu Rong and Tingyang Xu and Fuchun Sun and Junzhou Huang},
journal= {arXiv preprint arXiv:2306.12091},
year = {2023}
}
备注
IEEE Transactions on Neural Networks and Learning Systems, 2023