微分方程单元：从数据中学习激活函数的函数形式
机器学习
2019-09-10 v1 机器学习
摘要
大多数深度神经网络使用简单、固定的激活函数，如 sigmoid 或修正线性单元，而不考虑领域或网络结构。我们引入了微分方程单元 (DEUs)，这是对现代神经网络的一项改进，它使每个神经元能够从常微分方程的解族中学习特定的非线性激活函数。具体而言，每个神经元在训练过程中可以根据网络其他部分的行为改变其函数形式。我们证明，与使用 DEU 激活函数的神经元相比，所得网络更为紧凑，且在与规模大得多的网络比较时，能够达到相当甚至更优的性能。
引用
@article{arxiv.1909.03069,
title = {Differential Equation Units: Learning Functional Forms of Activation Functions from Data},
author = {MohamadAli Torkamani and Shiv Shankar and Amirmohammad Rooshenas and Phillip Wallis},
journal= {arXiv preprint arXiv:1909.03069},
year = {2019}
}
备注
arXiv admin note: text overlap with arXiv:1905.07685