TanhSoft——结合Tanh与Softplus的一族激活函数
神经与进化计算
2020-09-09 v1 人工智能
计算机视觉与模式识别
机器学习
摘要
深度学习的核心包含由线性变换与非线性函数（即激活函数）复合而成的函数。过去几年中，构建新颖激活函数以获得更好学习的兴趣日益增长。在本工作中，我们提出一族新颖的激活函数，即TanhSoft，其具有四个未定超参数，形式为tanh(αx+βe^{γx})ln(δ+e^x)，并调节这些超参数以获得被证明优于若干知名激活函数的激活函数。例如，将ReLU替换为xtanh(0.6e^x)在CIFAR-10上使DenseNet-169的top-1分类精度提升0.46%，使Inception-v3提升0.7%；而使用tanh(0.87x)ln(1+e^x)在CIFAR-100上使DenseNet-169的top-1分类精度提升1.24%，使SimpleNet模型提升2.57%。
引用
@article{arxiv.2009.03863,
title = {TanhSoft -- a family of activation functions combining Tanh and Softplus},
author = {Koushik Biswas and Sandeep Kumar and Shilpak Banerjee and Ashish Kumar Pandey},
journal= {arXiv preprint arXiv:2009.03863},
year = {2020}
}
备注
11 pages