用无饱和的深度神经网络逼近光滑与稀疏函数
信息论
2020-01-14 v1 机器学习
math.IT
摘要
构造用于函数逼近的神经网络是逼近论中一个经典且长久的课题。本文旨在构造具有三个隐藏层的深度神经网络（简称深度网络）来逼近光滑与稀疏函数。特别地，我们证明了所构造的深度网络在逼近光滑与稀疏函数时均可达到最优逼近率，且自由参数的量级可控。由于描述逼近瓶颈的饱和是构造性神经网络中不可逾越的问题，我们还证明了仅增加一个隐藏层来加深神经网络即可避免饱和。所得结果揭示了深度网络的优势，并为深度学习提供了理论解释。
引用
@article{arxiv.2001.04114,
title = {Approximation smooth and sparse functions by deep neural networks without saturation},
author = {Xia Liu},
journal= {arXiv preprint arXiv:2001.04114},
year = {2020}
}