全连接极深神经网络回归估计的收敛速率
机器学习
2020-09-30 v5 机器学习
统计理论
统计理论
摘要
非参数回归的最新结果表明，在回归函数结构满足适当限制的条件下，深度学习（即具有多个隐藏层的神经网络估计）能够规避所谓的维数灾难。这些结果中所用神经网络的一个关键特征是其网络结构具有进一步的约束，即网络稀疏性。在本文中，我们证明对于基于简单全连接神经网络与 ReLU 激活函数的最小二乘估计，也能得到类似的结果。此处要么每个隐藏层的神经元数量固定，且隐藏层数量随样本量趋于无穷而适当快速地趋于无穷；要么隐藏层数量被样本量的某个对数因子所限制，且每个隐藏层的神经元数量随样本量趋于无穷而适当快速地趋于无穷。证明基于有关深度神经网络的新逼近结果。
引用
@article{arxiv.1908.11133,
title = {On the rate of convergence of fully connected very deep neural network regression estimates},
author = {Michael Kohler and Sophie Langer},
journal= {arXiv preprint arXiv:1908.11133},
year = {2020}
}