深度神经网络的正则化柔性激活函数组合
神经与进化计算
2020-08-20 v2 计算机视觉与模式识别
摘要
深度神经网络中的激活是实现非线性映射的基础。传统研究主要关注为特定学习任务或模型架构寻找固定激活函数。关于柔性激活的研究在设计理念与应用场景上均相当有限。本研究提出选择柔性激活组成成分的三条原则，并实现了一种通用的柔性激活函数组合形式。在此基础上，实现了一类可替代 LSTM 单元中 sigmoid 或 tanh 的新型柔性激活函数族，以及通过组合 ReLU 与 ELU 得到的新族。此外，基于作为先验知识的假设引入了两个新的正则化项。研究表明，采用所提柔性激活 P-Sig-Ramp 的 LSTM 模型在时间序列预测中取得显著提升，而所提 P-E2-ReLU 在基于卷积自编码器的有损图像压缩任务上实现了更优且更稳定的性能。此外，所提正则化项改善了采用柔性激活函数模型的收敛性、性能与稳定性。
引用
@article{arxiv.2007.13101,
title = {Regularized Flexible Activation Function Combinations for Deep Neural Networks},
author = {Renlong Jie and Junbin Gao and Andrey Vasnev and Min-ngoc Tran},
journal= {arXiv preprint arXiv:2007.13101},
year = {2020}
}