深度网络逼近：从 ReLU 到多样化激活函数
机器学习
2024-02-28 v5 机器学习
摘要
本文探讨了深度神经网络对于一系列多样化激活函数的表达能力。定义了一个激活函数集合 A，其涵盖了大多数常用激活函数，如 ReLU、LeakyReLU、ReLU2、ELU、CELU、SELU、Softplus、GELU、SiLU、Swish、Mish、Sigmoid、Tanh、Arctan、Softsign、dSiLU 和 SRS。我们证明，对于任意激活函数 ϱ∈A，在任何有界集上，宽度为 N、深度为 L 的 ReLU 网络均可被宽度为 3N、深度为 2L 的 ϱ 激活网络以任意精度逼近。该发现使得大多数基于 ReLU 网络取得的逼近结果能够推广至多种其他激活函数，尽管常数略有增大。值得注意的是，我们确立了若 ϱ 属于 A 的某个特定子集，则（宽度，深度）缩放因子可进一步由 (3,2) 降至 (1,1)。该子集包含诸如 ELU、CELU、SELU、Softplus、GELU、SiLU、Swish 和 Mish 等激活函数。
引用
@article{arxiv.2307.06555,
title = {Deep Network Approximation: Beyond ReLU to Diverse Activation Functions},
author = {Shijun Zhang and Jianfeng Lu and Hongkai Zhao},
journal= {arXiv preprint arXiv:2307.06555},
year = {2024}
}