使用常微分方程作为激活函数学习紧凑神经网络
机器学习
2019-05-21 v1 神经与进化计算
机器学习
摘要
大多数深度神经网络使用简单、固定的激活函数,例如 sigmoid 或修正线性单元,而不考虑领域或网络结构。我们引入微分方程单元(DEUs),这是对现代神经网络的一种改进,它使每个神经元能够从常微分方程解族中学习特定的非线性激活函数。具体而言,每个神经元可根据网络其他部分的行为在训练期间改变其函数形式。我们表明,使用具有 DEU 激活函数的神经元可得到更紧凑的网络,在与大得多的网络相比时,能够达到相当甚至更优的性能。
引用
@article{arxiv.1905.07685,
title = {Learning Compact Neural Networks Using Ordinary Differential Equations as Activation Functions},
author = {MohamadAli Torkamani and Phillip Wallis and Shiv Shankar and Amirmohammad Rooshenas},
journal= {arXiv preprint arXiv:1905.07685},
year = {2019}
}