论深度神经网络设计的转折性质：显式深度界
机器学习
2021-01-11 v1 系统与控制
系统与控制
最优化与控制
摘要
众所周知，深度神经网络（DNN）的训练可以用最优控制的语言形式化。在此背景下，本文利用最优控制问题的经典转折（turnpike）性质，试图对 DNN 中应考虑多少层这一问题给出可量化的回答。其底层假设是每层的神经元数量——即 DNN 的宽度——保持恒定。与对 sigmoid 函数逼近性质的经典分析不同，我们基于渐近可达性假设和训练问题中诱导耗散性的正则项选择，证明了 DNN 所需深度的显式界。针对用于分类的双螺旋任务数据集获得的数值结果表明，所提出的估计可提供非保守的深度界。
引用
@article{arxiv.2101.03000,
title = {On the Turnpike to Design of Deep Neural Nets: Explicit Depth Bounds},
author = {Timm Faulwasser and Arne-Jens Hempel and Stefan Streif},
journal= {arXiv preprint arXiv:2101.03000},
year = {2021}
}