初等超表达激活函数
神经与进化计算
2021-02-23 v1
摘要
若一个有限激活函数族能够通过仅依赖于输入变量数量的固定架构神经网络（即达到任意精度只需调整权重，无需增加神经元数量）来逼近任意多元连续函数，则称其为超表达的。此前已知存在超表达激活函数，但其形式相当复杂。我们给出了一些非常简单的超表达函数族的例子：例如，我们证明了函数族 {sin, arcsin} 是超表达的。我们还表明，大多数实际使用的激活函数（不涉及周期函数）并非超表达的。
引用
@article{arxiv.2102.10911,
title = {Elementary superexpressive activations},
author = {Dmitry Yarotsky},
journal= {arXiv preprint arXiv:2102.10911},
year = {2021}
}