神经网络加深优势的理论分析
机器学习
2024-03-06 v1 神经与进化计算
机器学习
摘要
我们提出两个新准则以理解加深神经网络的优势。为理解加深神经网络的优势，知晓深度神经网络可计算函数的表达能力十分重要。除非深度神经网络具备足够表达能力，否则即便学习成功也无法获得良好性能。在此情形下，所提准则有助于理解加深神经网络的优势，因为它们能独立于学习效率来评估表达能力。第一个准则给出了深度神经网络对目标函数的逼近精度。该准则的背景是深度学习的目标是用深度神经网络逼近目标函数。第二个准则给出了深度神经网络可计算函数的线性区域性质。该准则的背景是激活函数为分段线性的深度神经网络亦是分段线性的。此外，通过这两个准则，我们表明在提升深度神经网络表达能力方面，增加层数比增加每层单元数更为有效。
引用
@article{arxiv.2009.11479,
title = {Theoretical Analysis of the Advantage of Deepening Neural Networks},
author = {Yasushi Esaki and Yuta Nakahara and Toshiyasu Matsushima},
journal= {arXiv preprint arXiv:2009.11479},
year = {2024}
}
备注
9 pages, 7 figures; accepted in 19th IEEE International Conference on Machine Learning and Applications (IEEE ICMLA 2020)