SignReLU 神经网络及其逼近能力
机器学习
2023-08-31 v3 计算机科学与博弈论
图像与视频处理
泛函分析
摘要
近年来，深度神经网络（DNNs）在科技诸多领域备受关注。激活函数定义了 DNNs 中的神经元如何处理输入信号，它们对于学习非线性变换以及 successive 神经元层之间执行多样计算至关重要。过去几年，研究者探究了 DNNs 的逼近能力以解释其威力与成功。本文探讨使用一种不同激活函数（称为 SignReLU）的 DNNs 的逼近能力。我们的理论结果表明，SignReLU 网络在逼近性能上优于有理函数网络与 ReLU 网络。数值实验将 SignReLU 与现有激活函数（如 ReLU、Leaky ReLU 和 ELU）进行比较，展示了 SignReLU 具有竞争力的实际性能。
引用
@article{arxiv.2210.10264,
title = {SignReLU neural network and its approximation ability},
author = {Jianfei Li and Han Feng and Ding-Xuan Zhou},
journal= {arXiv preprint arXiv:2210.10264},
year = {2023}
}