有理神经网络
神经与进化计算
2020-10-01 v2 机器学习
数值分析
数值分析
机器学习
摘要
我们考虑具有有理激活函数的神经网络。深度学习架构中非线性激活函数的选择至关重要，并严重影响神经网络的性能。我们建立了网络复杂度方面的最优界，并证明有理神经网络能以指数级更小的深度比 ReLU 网络更高效地逼近光滑函数。有理激活函数的灵活性和光滑性使其成为 ReLU 的有吸引力替代方案，正如我们通过数值实验所展示的那样。
引用
@article{arxiv.2004.01902,
title = {Rational neural networks},
author = {Nicolas Boullé and Yuji Nakatsukasa and Alex Townsend},
journal= {arXiv preprint arXiv:2004.01902},
year = {2020}
}
备注
21 pages, 7 figures