正交-Padé 激活函数：深度网络中可实现平滑且更快收敛的可训练激活函数
神经与进化计算
2021-06-18 v1 人工智能
计算机视觉与模式识别
机器学习
摘要
我们提出了正交-Padé 激活函数，其为可训练激活函数，并表明它们具有更快的学习能力，且在标准深度学习数据集与模型中提升了准确率。基于实验，我们从六种正交-Padé 激活中发现了两个最佳候选，称之为安全 Hermite-Pade（HP）激活函数，即 HP-1 与 HP-2。与 ReLU 相比，在 CIFAR100 数据集上，HP-1 和 HP-2 在 PreActResNet-34 中的 top-1 准确率分别提升 5.06% 和 4.63%，在 MobileNet V2 模型中分别提升 3.02% 和 2.75%；而在 CIFAR10 数据集上，top-1 准确率在 PreActResNet-34 中分别提升 2.02% 和 1.78%，在 LeNet 中分别提升 2.24% 和 2.06%，在 Efficientnet B0 中分别提升 2.15% 和 2.03%。
引用
@article{arxiv.2106.09693,
title = {Orthogonal-Pad\'e Activation Functions: Trainable Activation functions for smooth and faster convergence in deep networks},
author = {Koushik Biswas and Shilpak Banerjee and Ashish Kumar Pandey},
journal= {arXiv preprint arXiv:2106.09693},
year = {2021}
}
备注
11 pages