TanhExp：一种用于轻量级神经网络且具有高收敛速度的平滑激活函数
机器学习
2020-09-10 v2 计算机视觉与模式识别
神经与进化计算
摘要
用于实时计算机视觉任务的轻量级或移动神经网络比常规网络包含更少的参数，这导致性能受限。在这项工作中，我们提出了一种称为 Tanh 指数激活函数（TanhExp）的新型激活函数，它能显著改善这些网络在图像分类任务上的性能。TanhExp 的定义为 f(x) = xtanh(e^x)。我们在各种数据集和网络模型上展示了 TanhExp 的简洁性、高效性和鲁棒性，且 TanhExp 在收敛速度和精度上均优于同类函数。即使在加入噪声和改变数据集时，其行为也保持稳定。我们表明，在不增加网络规模的情况下，轻量级神经网络的能力可通过 TanhExp 在仅少量训练周期且不增加额外参数的情况下得到增强。
引用
@article{arxiv.2003.09855,
title = {TanhExp: A Smooth Activation Function with High Convergence Speed for Lightweight Neural Networks},
author = {Xinyu Liu and Xiaoguang Di},
journal= {arXiv preprint arXiv:2003.09855},
year = {2020}
}
备注
This paper is a preprint of a paper accepted by IET Computer Vision and is subject to Institution of Engineering and Technology Copyright. When the final version is published, the copy of record will be available at the IET Digital Library