深度神经网络的逼近空间
泛函分析
2020-07-20 v4 神经与进化计算
机器学习
摘要
我们研究了深度神经网络的表达能力。通过连接数或神经元数来衡量网络的复杂度，我们考虑了这样一类函数：当增加复杂度预算时，使用给定复杂度的网络对这类函数的最佳逼近误差以一定速率衰减。利用经典逼近理论的结果，我们证明该类函数可以被赋予一个（拟）范数，使其成为一个线性函数空间，称为逼近空间。我们证明，允许网络具有某些类型的“跳跃连接”不会改变所得的逼近空间。我们还讨论了网络的非线性（也称为激活函数）以及深度在所得空间中的作用。对于流行的 ReLU 非线性及其幂次，我们将新构造的空间与经典的 Besov 空间联系起来。所建立的嵌入关系表明，一些 Besov 光滑度极低的函数，如果网络足够深，仍然可以被神经网络很好地逼近。
引用
@article{arxiv.1905.01208,
title = {Approximation spaces of deep neural networks},
author = {Rémi Gribonval and Gitta Kutyniok and Morten Nielsen and Felix Voigtlaender},
journal= {arXiv preprint arXiv:1905.01208},
year = {2020}
}