激活函数组合的学习
机器学习
2019-04-26 v3
摘要
在过去十年中，设计能够帮助深度神经网络收敛、获得更优性能的新型激活函数是一个活跃的研究领域。这些架构的训练过程通常仅涉及对其各层权重的优化，而非线性函数一般是预先指定的，其（可能的）参数通常被视为需手动调整的超参数。在本文中，我们引入两种方法，在训练阶段自动学习基础激活函数（如恒等函数、ReLU 和 tanh）的不同组合。我们在三个标准数据集（Fashion-MNIST、CIFAR-10 和 ILSVRC-2012）上，将我们的新方法与时知名架构（如 LeNet-5、AlexNet 和 ResNet-56）进行了详尽比较，显示出整体性能的显著提升，例如 AlexNet 在 ILSVRC-2012 上的 top-1 准确率提高了 3.01 个百分点。
引用
@article{arxiv.1801.09403,
title = {Learning Combinations of Activation Functions},
author = {Franco Manessi and Alessandro Rozza},
journal= {arXiv preprint arXiv:1801.09403},
year = {2019}
}
备注
6 pages, 3 figures. Published as a conference paper at ICPR 2018. Code: https://bitbucket.org/francux/learning_combinations_of_activation_functions