SERF：使用对数Softplus误差激活函数实现深度神经网络更优训练
机器学习
2021-08-26 v3 人工智能
计算机视觉与模式识别
神经与进化计算
摘要
激活函数在决定训练动态与神经网络性能方面起着关键作用。被广泛采用的激活函数ReLU尽管简单有效，却存在包括Dying ReLU问题在内的少许缺点。为应对此类问题，我们提出一种称为Serf的新型激活函数，其本质为自正则且非单调。与Mish类似，Serf也属于Swish函数族。基于在计算机视觉（图像分类与物体检测）和自然语言处理（机器翻译、情感分类与多模态蕴含）任务上使用不同SOTA架构的若干实验，观察到Serf大幅优于ReLU（基线）及其他激活函数，包括Swish与Mish，且在更深架构上优势明显更大。消融研究进一步表明，在不同场景下Serf架构均优于Swish与Mish架构，验证了Serf随深度、复杂度、优化器、学习率、批大小、初始化器与丢弃率变化的有效性与兼容性。最后，我们探究Swish与Serf间的数学关系，从而展示Serf一阶导数中内嵌的预条件函数的影响，其提供正则效应使梯度更平滑、优化更快。
引用
@article{arxiv.2108.09598,
title = {SERF: Towards better training of deep neural networks using log-Softplus ERror activation Function},
author = {Sayan Nag and Mayukh Bhattacharyya},
journal= {arXiv preprint arXiv:2108.09598},
year = {2021}
}