具有光滑激活函数的全连接深度神经网络回归估计的收敛速度分析
统计理论
2020-10-14 v1 统计理论
摘要
本文对深度神经网络（DNNs）现有统计理论作出贡献。已有研究表明，在回归函数结构满足适当限制的条件下，DNNs能够规避所谓的维数灾难。在大多数此类结果中，调谐参数为网络的稀疏性，其描述网络中非零权重的数量。这一约束似乎是获得良好收敛速度结果的关键因素。近来，该假设被证伪。特别地，已表明简单的全连接DNNs也能达到相同的收敛速度。那些全连接DNNs基于无界ReLU激活函数。在本文中，我们将结果推广至光滑激活函数，即sigmoid激活函数。结果表明，基于具有sigmoid激活函数的全连接DNNs的估计量也能达到极小极大收敛速度（直至ln n因子）。在我们的结果中，隐藏层数量固定，每层神经元数量随样本量趋于无穷而趋于无穷，并给出了网络权重的界。
引用
@article{arxiv.2010.06168,
title = {Analysis of the rate of convergence of fully connected deep neural network regression estimates with smooth activation function},
author = {Sophie Langer},
journal= {arXiv preprint arXiv:2010.06168},
year = {2020}
}
备注
arXiv admin note: substantial text overlap with arXiv:1908.11133