关于神经网络中 ReLU 激活与 softmax 输出层的逼近能力
机器学习
2020-02-12 v1 神经与进化计算
机器学习
摘要
在本文中，我们将成熟的通用逼近理论推广到使用无界 ReLU 激活函数和非线性 softmax 输出层的神经网络。我们证明了使用 ReLU 激活函数的足够大的神经网络能以任意精度逼近 中的任意函数。此外，我们的理论结果表明，使用非线性 softmax 输出层的足够大的神经网络也能逼近 中的任意指示函数，这等价于任何现实多类模式分类问题中互斥的类别标签。据我们所知，这项工作是使用神经网络中 softmax 输出层进行模式分类的首个理论依据。
引用
@article{arxiv.2002.04060,
title = {On Approximation Capabilities of ReLU Activation and Softmax Output Layer in Neural Networks},
author = {Behnam Asadi and Hui Jiang},
journal= {arXiv preprint arXiv:2002.04060},
year = {2020}
}
备注
8 pages