可学习参数引导的激活函数
机器学习
2019-12-24 v1 计算机视觉与模式识别
神经与进化计算
摘要
本文探讨向激活函数添加可学习斜率与均值偏移参数以改进总响应区域的概念。激活函数的特性高度依赖于参数值。使参数可学习，令激活函数更具动态性并能够按其相邻层的需求自适应。引入的斜率参数独立于激活函数中其他参数。该概念被应用于 ReLU 以开发 Dual Line 与 DualParametric ReLU 激活函数。在 MNIST 与 CIFAR10 上的评估表明，所提出的激活函数 Dual Line 在采用 LENET4、LENET5 与 WideResNet 架构测试的 43 个激活函数中以平均准确率位列前五。这是首次同时分析超过 40 个激活函数在 MNIST 与 CIFAR10 数据集上的表现。对正斜率参数 beta 分布的研究表明，激活函数按其相邻层的需求自适应。研究表明，采用所提激活函数模型性能得到提升。
引用
@article{arxiv.1912.10752,
title = {Learn-able parameter guided Activation Functions},
author = {S. Balaji and T. Kavya and Natasha Sebastian},
journal= {arXiv preprint arXiv:1912.10752},
year = {2019}
}
备注
14 pages, 9 figures