人工神经网络的一种稀疏捷径拓扑
机器学习
2021-11-15 v5 机器学习
摘要
在已有的网络架构中，捷径连接常将较早层的输出作为后续层的额外输入。尽管捷径极为有效，其机制与特性仍存在开放问题。例如，捷径为何强大？捷径为何泛化良好？本文研究一种新颖的稀疏捷径拓扑的表达能力与可泛化性。首先，我们证明该拓扑可使单神经元宽度的深度网络逼近任意一元连续函数。接着，我们提出一种新颖的受宽度限制的通用逼近器，以对比受深度限制的通用逼近器，并将逼近结果推广至一类同等能力的网络。此外，借助泛化界理论，我们证明所提捷径拓扑具有优异的可泛化性。最后，我们在知名基准上将所提拓扑与包括 ResNet 和 DenseNet 在内的流行架构比较，以佐证理论分析，并进行显著性图分析以解释该拓扑。我们的工作有助于增进对捷径作用的理解，并为神经网络架构创新提供进一步机遇。
引用
@article{arxiv.1811.09003,
title = {On a Sparse Shortcut Topology of Artificial Neural Networks},
author = {Fenglei Fan and Dayang Wang and Hengtao Guo and Qikui Zhu and Pingkun Yan and Ge Wang and Hengyong Yu},
journal= {arXiv preprint arXiv:1811.09003},
year = {2021}
}