神经网络中的激活自适应
机器学习
2019-10-01 v2 机器学习
摘要
许多神经网络架构依赖于为每个隐藏层选择激活函数。给定激活函数后,神经网络在偏置和权重参数上进行训练。偏置捕捉激活的中心,权重捕捉尺度。在此我们提议同时对形状参数进行训练。这一视角允许每个神经元调谐自身的激活函数,并使神经元曲率自适应以求得更好的预测。该修改仅为每个神经元的反向传播增加了一个方程。将激活函数重新形式化为CDF,广泛推广了激活函数的类别。我们旨在推广一大类激活函数以研究:i)偏度,以及ii)激活函数的平滑性。在此我们引入自适应Gumbel激活函数作为Gumbel与sigmoid之间的桥梁。类似方法被用于发明ReLU的平滑版本。与常见激活函数的比较表明,尤其在神经网络早期层中,数据表示有所不同。这种自适应也带来了预测性能的提升。
引用
@article{arxiv.1901.09849,
title = {Activation Adaptation in Neural Networks},
author = {Farnoush Farhadi and Vahid Partovi Nia and Andrea Lodi},
journal= {arXiv preprint arXiv:1901.09849},
year = {2019}
}