神经网络宽度与深度的准等价性
机器学习
2022-05-25 v7 机器学习
摘要
尽管经典研究证明了宽网络可实现通用逼近，近期的研究与深度学习的成功展示了深度网络的能力。基于对称性考量，我们探究人工神经网络的设计是否应有方向偏好，以及网络的宽度与深度之间的相互作用机制为何。受德·摩根定律启发，我们从两方面建立 ReLU 网络宽度与深度之间的准等价，以解决这一基本问题。首先，我们针对回归或分类分别构造两种变换，将任意 ReLU 网络映射到一个宽网络和一个深网络，从而可实现原网络本质相同的能力。接着，我们将主流人工神经元类型替换为二次对应物，并利用同一多项式函数的因式分解与连分数表示分别构造宽网络与深网络。基于我们的发现，一个深度网络有一个宽的等价物，反之亦然，且误差可任意小。
引用
@article{arxiv.2002.02515,
title = {Quasi-Equivalence of Width and Depth of Neural Networks},
author = {Feng-Lei Fan and Rongjie Lai and Ge Wang},
journal= {arXiv preprint arXiv:2002.02515},
year = {2022}
}