深度ReLU网络近似的误差界
机器学习
2017-05-02 v3 神经与进化计算
摘要
我们研究了具有分段线性激活函数的浅层与深层神经网络的表达能力。在Sobolev空间近似设定下，我们建立了关于网络复杂度的新的严格上界与下界。特别地，我们证明了深度ReLU网络比浅层网络更有效地近似光滑函数。在一维Lipschitz函数近似的情形中，我们描述了比标准浅层架构更高效的自适应深度-6网络架构。
引用
@article{arxiv.1610.01145,
title = {Error bounds for approximations with deep ReLU networks},
author = {Dmitry Yarotsky},
journal= {arXiv preprint arXiv:1610.01145},
year = {2017}
}
备注
31 pages; major revision in v3; submitted to Neural Networks