深度神经网络有限时间收敛的先验保证
机器学习
2020-09-17 v1 系统与控制
系统与控制
机器学习
摘要
在本文中，我们对损失函数进行基于 Lyapunov 的分析，以推导深度神经网络稳定时间的先验上界。尽管先前研究尝试使用控制理论框架理解深度学习，但关于先验有限时间收敛分析的工作有限。借鉴非线性系统有限时间控制分析的进展，我们在确定性控制理论设定下提供有限时间收敛的先验保证。我们将监督学习框架表述为控制问题，其中网络权重为控制输入，学习转化为跟踪问题。在输入有界的假设下，先验计算出稳定时间有限时间上界的分析公式。最后，我们证明了损失函数对输入扰动的鲁棒性与敏感性。
引用
@article{arxiv.2009.07509,
title = {A priori guarantees of finite-time convergence for Deep Neural Networks},
author = {Anushree Rankawat and Mansi Rankawat and Harshal B. Oza},
journal= {arXiv preprint arXiv:2009.07509},
year = {2020}
}