具有单神经元隐藏层的ResNet是通用逼近器
机器学习
2018-07-05 v2 机器学习
摘要
我们证明，一个非常深的ResNet，其堆叠模块每层隐藏层仅含一个神经元且使用ReLU激活函数，可以一致逼近维空间中的任意Lebesgue可积函数，即。由于ResNet固有的恒等映射，我们的网络具有维度一与交替的层。这与全连接网络形成鲜明对比，后者的宽度若为输入维度则不是通用逼近器[Lu et al, 2017; Hanin and Sellke, 2017]。因此，我们的结果意味着ResNet架构提升了窄深网络的表示能力。
引用
@article{arxiv.1806.10909,
title = {ResNet with one-neuron hidden layers is a Universal Approximator},
author = {Hongzhou Lin and Stefanie Jegelka},
journal= {arXiv preprint arXiv:1806.10909},
year = {2018}
}