自适应混合单元：深度神经网络中可训练的激活函数
机器学习
2018-06-27 v1 机器学习
摘要
当前深度前馈神经网络中最广泛使用的激活函数是修正线性单元（ReLU），并且许多替代方案也已成功应用。然而，尚无任何一种替代方案能够持续优于其余方案，且对于大多数高效训练而言，缺乏将任务与网络的性质同激活函数的性质相联系的统一理论。一种可能的解决方案是让网络学习其偏好的激活函数。在这项工作中，我们引入自适应混合单元（ABUs），即一组激活函数的可训练线性组合。由于 ABUs 学习激活函数的形状以及整体缩放，我们还分析了常见激活函数中自适应缩放的影响。我们通过实验证明了自适应缩放和 ABUs 相对于常见激活函数在一系列系统性变化的网络设定下的优势。我们进一步表明，自适应缩放通过缓解训练过程中的协变量偏移而起作用，且所观察到的 ABUs 性能优势同样在很大程度上依赖于激活函数在训练过程中自适应调整的能力。
引用
@article{arxiv.1806.10064,
title = {Adaptive Blending Units: Trainable Activation Functions for Deep Neural Networks},
author = {Leon René Sütfeld and Flemming Brieger and Holger Finger and Sonja Füllhase and Gordon Pipa},
journal= {arXiv preprint arXiv:1806.10064},
year = {2018}
}
备注
10 pages, 2 figures