ARiA:利用 Richard 曲线控制深度神经网络中激活函数的非单调性
神经与进化计算
2018-05-24 v1 机器学习
摘要
本工作引入一种可高效用于深度神经网络(DNNs)且显著优于传统修正线性单元(ReLU)的新型激活单元。所开发的函数是专门化 Richard 曲线的双参数版本,我们称之为自适应 Richard 曲线加权激活(ARiA)。该函数是非单调的,类似于新近提出的 Swish,但允许通过调节超参数精确控制其非单调凸性。我们首先展示双参数 ARiA 的数学意义,随后将其应用于 MNIST、CIFAR-10 和 CIFAR-100 等基准问题,并与 ReLU 和 Swish 单元比较性能。我们的结果在所有这些数据集上均显示出显著更优的性能,使 ARiA 成为 DNN 中 ReLU 及其他激活函数的潜在替代者。
引用
@article{arxiv.1805.08878,
title = {ARiA: Utilizing Richard's Curve for Controlling the Non-monotonicity of the Activation Function in Deep Neural Nets},
author = {Narendra Patwardhan and Madhura Ingalhalikar and Rahee Walambe},
journal= {arXiv preprint arXiv:1805.08878},
year = {2018}
}
备注
Modified version Submitted to ECCV '18