利用三次样条插值从数据学习激活函数
机器学习
2020-06-24 v2 机器学习
神经与进化计算
摘要
神经网络需要精心设计以在给定任务上正常表现。特别地，选择良好的激活函数（可能以数据依赖的方式）是关键一步，这在研究界仍是一个开放问题。尽管有大量研究，当前大多数实现只是从小候选集中选择一个固定函数，该函数在训练期间不调整，且在所有神经元间跨不同层共享。然而，这两个假设在实践中都不能认为是优化的。本文中，我们提出一种原则性方法，实现激活函数的数据依赖自适应，且对每个神经元独立进行。这是通过利用过去和现在在三次样条插值上的进展实现的，允许函数在使用区域附近局部自适应。所得算法实现成本较低，且过拟合通过引入一种新颖的阻尼准则来抵消，该准则惩罚偏离预定义形状的不期望振荡。实验结果在两个知名基准上验证了该提案。
引用
@article{arxiv.1605.05509,
title = {Learning activation functions from data using cubic spline interpolation},
author = {Simone Scardapane and Michele Scarpiniti and Danilo Comminiello and Aurelio Uncini},
journal= {arXiv preprint arXiv:1605.05509},
year = {2020}
}
备注
Submitted to the 27th Italian Workshop on Neural Networks (WIRN 2017)