激活函数非线性对深度学习模型性能的影响
机器学习
2020-10-16 v1 人工智能
摘要
深度学习模型中使用的激活函数的非线性对预测模型的成功至关重要。有若干常用的简单非线性函数，包括修正线性单元（ReLU）与带泄漏修正线性单元（L-ReLU）。在实践中，这些函数显著提升了模型精度。然而，关于这些非线性激活函数为何某些模型优于其他模型的功能性认识有限。在此，我们研究了在不同模型架构与数据域中使用 ReLU 或 L-ReLU 作为激活函数时的模型性能。有趣的是，我们发现 L-ReLU 的应用在模型可训练参数数量相对较小时最为有效。此外，我们发现图像分类模型似乎在全连接层中借助 L-ReLU 表现良好，尤其是在使用 VGG-16 等预训练模型进行迁移学习时。
引用
@article{arxiv.2010.07359,
title = {Effects of the Nonlinearity in Activation Functions on the Performance of Deep Learning Models},
author = {Nalinda Kulathunga and Nishath Rajiv Ranasinghe and Daniel Vrinceanu and Zackary Kinsman and Lei Huang and Yunjiao Wang},
journal= {arXiv preprint arXiv:2010.07359},
year = {2020}
}
备注
10 pages