深度与浅层网络：逼近理论视角
机器学习
2016-08-12 v1 泛函分析
摘要
本文简要回顾了关于从样本中学习的层次化架构的若干近期结果，这些结果可正式解释深度卷积神经网络在函数逼近问题上表现远优于浅层单隐层架构的条件。本文宣布了针对现今日神经网络中使用的非光滑激活函数——ReLU 函数——以及高斯网络的新结果。我们提出了相对维数的新定义，以概括函数类的不同稀疏性概念，这些稀疏性可能被深度网络利用而非浅层网络，从而大幅降低逼近与学习所需的复杂度。
引用
@article{arxiv.1608.03287,
title = {Deep vs. shallow networks : An approximation theory perspective},
author = {Hrushikesh Mhaskar and Tomaso Poggio},
journal= {arXiv preprint arXiv:1608.03287},
year = {2016}
}
备注
14 pages, 4 figures, to be published in a Journal