GloNets:全局连接神经网络
机器学习
2023-11-28 v1 神经与进化计算
摘要
深度学习架构存在与深度相关的性能退化问题,限制了神经网络的有效深度。ResNet 等方法能够缓解此问题,但并未完全消除。我们提出全局连接神经网络(GloNet),一种克服深度相关问题的新型架构,旨在叠加于任何模型之上,在不增加复杂度或降低性能的情况下增强其深度。借助 GloNet,网络头部均匀接收来自网络所有部分的信息,无论其抽象级别如何。这使 GloNet 能在训练期间自我调节信息流,降低效果不佳的更深层次的影响,并实现与网络深度无关的稳定训练。本文详述了 GloNet 的设计、理论基础以及与现有类似架构的比较。实验展示了 GloNet 的自调节能力及对性能退化等深度相关学习挑战的韧性。我们的结果表明 GloNet 可作为 ResNets 等传统架构的有力替代。
引用
@article{arxiv.2311.15947,
title = {GloNets: Globally Connected Neural Networks},
author = {Antonio Di Cecco and Carlo Metta and Marco Fantozzi and Francesco Morandin and Maurizio Parton},
journal= {arXiv preprint arXiv:2311.15947},
year = {2023}
}