参数化扁平-T Swish：一种用于深度学习的自适应非线性激活函数
机器学习
2022-03-01 v2 神经与进化计算
摘要
激活函数是深度学习中执行输入输出间非线性映射的关键组件。修正线性单元（ReLU）一直是深度学习界最流行的激活函数。然而，ReLU 存在若干缺陷，可导致深度神经网络训练低效：1）ReLU 的负向抵消特性倾向于将负输入视为对学习不重要的信息，造成性能下降；2）ReLU 固有的预定义性质不太可能提升网络的额外灵活性、表达力与鲁棒性；3）ReLU 的平均激活高度为正，导致网络层中的偏置偏移效应；4）ReLU 的多线性结构限制了网络的非线性逼近能力。为克服这些缺陷，本文引入参数化扁平-T Swish（PFTS）作为 ReLU 的替代。以 ReLU 为基线方法，实验表明 PFTS 在 SVHN 数据集上于 DNN-3A、DNN-3B、DNN-4、DNN-5A、DNN-5B、DNN-5C、DNN-6 和 DNN-7 上分别提升分类准确率 0.31%、0.98%、2.16%、17.72%、1.35%、0.97%、39.99% 和 71.83%。此外，PFTS 在对比方法中亦取得最高平均排名。所提 PFTS 在训练过程中展现出更高的非线性逼近能力，从而提升了网络的预测性能。
引用
@article{arxiv.2011.03155,
title = {Parametric Flatten-T Swish: An Adaptive Non-linear Activation Function For Deep Learning},
author = {Hock Hung Chieng and Noorhaniza Wahid and Pauline Ong},
journal= {arXiv preprint arXiv:2011.03155},
year = {2022}
}
备注
19 pages