训练至关重要：释放更深图卷积神经网络的潜力
机器学习
2023-11-07 v3 机器学习
摘要
图卷积网络（GCNs）的性能极限，以及我们无法像其他深度学习范式那样堆叠更多层以提升性能，普遍被认为是由 GCN 层的局限所致，包括表达能力不足等。然而，若如此，对于固定架构，仅通过改变训练过程来降低训练难度并提升性能将不太可能；而本文表明这不仅可能，且有多种途径。本文首先从图信号能量损失的角度指出了 GCN 的训练难度。更具体地，我们发现训练期间反向传播中的能量损失使得靠近输入的层无法学习。接着，我们从能量角度提出若干通过轻微修改 GCN 算子来缓解训练问题的方法。经实证验证，我们确认这些算子改变在不改变参数组成的情况下显著降低了训练难度并带来明显的性能提升。据此我们得出结论：该问题的根源更可能是训练难度而非其他。
引用
@article{arxiv.2008.08838,
title = {Training Matters: Unlocking Potentials of Deeper Graph Convolutional Neural Networks},
author = {Sitao Luan and Mingde Zhao and Xiao-Wen Chang and Doina Precup},
journal= {arXiv preprint arXiv:2008.08838},
year = {2023}
}
备注
Accepted by 12th International Conference on Complex Networks and Their Applications