深而窄的神经网络不是万能逼近器
机器学习
2018-10-02 v1 机器学习
摘要
为了选择对特定建模问题有效的神经网络架构，必须理解各潜在选项所施加的局限。这些局限通常依据信息论界，或通过比较不同架构之间逼近示例函数所需的相对复杂度来描述。在本文中，我们考察神经网络的架构对其所能逼近的所有函数的水平集所施加的拓扑约束。这一方法就其局限的性质而言是新颖的，并且事实上对于一大类激活函数，它们与网络深度无关。
引用
@article{arxiv.1810.00393,
title = {Deep, Skinny Neural Networks are not Universal Approximators},
author = {Jesse Johnson},
journal= {arXiv preprint arXiv:1810.00393},
year = {2018}
}
备注
14 pages, 3 figures