从动力系统视角看神经网络更优的深度-宽度权衡

Vaggos Chatziafratis; Sai Ganesh Nagarajan; Ioannis Panageas

从动力系统视角看神经网络更优的深度-宽度权衡

机器学习 2020-07-21 v2 动力系统机器学习

作者: Vaggos Chatziafratis , Sai Ganesh Nagarajan , Ioannis Panageas

摘要

神经网络作为其深度、宽度和激活单元类型的函数的表达能力,一直是深度学习理论中的重要问题。近来,通过连续映射 $f$ 的广义不动点概念(称为周期点)与动力系统的新联系,获得了ReLU网络的深度分离结果。本文加强了与动力系统的联系,并从多个方面改进了现有的宽度下界。我们的第一个主要结果是在更强的 $L^1$ 近似误差(而非较弱的分类误差)意义下成立的周期特定宽度下界。我们的第二个贡献是提供了更紧的宽度下界,仍产生有意义的指数深度-宽度分离,适用于先前结果不适用的 regime。我们结果的一个副产品是:只要 $f$ 具有奇周期,就存在一个刻画深度-宽度权衡的通用常数。从技术上讲,我们的结果通过揭示给定函数的以下三个量之间的更紧密联系而得:其周期、其Lipschitz常数以及函数 $f$ 自身复合下出现的振荡数目的增长率。

关键词

神经网络深度-宽度权衡动力系统 ReLU网络周期点宽度下界 L^1近似

引用

@article{arxiv.2003.00777,
  title  = {Better Depth-Width Trade-offs for Neural Networks through the lens of Dynamical Systems},
  author = {Vaggos Chatziafratis and Sai Ganesh Nagarajan and Ioannis Panageas},
  journal= {arXiv preprint arXiv:2003.00777},
  year   = {2020}
}

备注

Appeared in ICML 2020

从动力系统视角看神经网络更优的深度-宽度权衡

摘要

关键词

引用

备注

相关论文