Soft-Root-Sign 激活函数
计算机视觉与模式识别
2020-03-03 v1
摘要
深度网络中激活函数的选择对训练动态和任务性能有显著影响。目前最有效且广泛使用的激活函数是 ReLU。然而，由于非零均值、负信息缺失和无界输出，ReLU 在优化时处于潜在劣势。为此，我们引入一种新颖的激活函数，设法克服上述三个挑战。所提出的非线性函数，即“Soft-Root-Sign”（SRS），是平滑、非单调且有界的。值得注意的是，SRS 的有界性使其区别于大多数最先进的激活函数。与 ReLU 不同，SRS 可通过一对独立可训练参数自适应调整输出，以捕获负信息并提供零均值特性，这不仅带来更好的泛化性能，也带来更快的学习速度。它还将输出分布避免并修正为散布于非负实数空间，使其与批归一化（BN）更兼容且对初始化更不敏感。在实验中，我们在应用于多种任务的深度网络上评估了 SRS，包括图像分类、机器翻译和生成建模。我们的 SRS 匹配或超越了使用 ReLU 及其他最先进非线性函数的模型，表明所提出的激活函数具有通用性且能在跨任务中取得高性能。消融实验进一步验证了与 BN 的兼容性和对不同初始化的自适应性。
引用
@article{arxiv.2003.00547,
title = {Soft-Root-Sign Activation Function},
author = {Yuan Zhou and Dandan Li and Shuwei Huo and Sun-Yuan Kung},
journal= {arXiv preprint arXiv:2003.00547},
year = {2020}
}