用于深度神经网络激活函数的加权 Sigmoid 门单元
计算机视觉与模式识别
2018-10-04 v1
摘要
激活函数在深度神经网络中起着关键作用。简单的修正线性单元（ReLU）被广泛用作激活函数。本文提出一种加权 sigmoid 门单元（WiG）作为激活函数。所提出的 WiG 由输入与加权 sigmoid 门的相乘构成。结果表明，WiG 以特殊情况包含了 ReLU 及相同的激活函数。已有许多激活函数被提出以超越 ReLU 的性能。在已有文献中，性能主要通过目标识别任务进行评估。所提出的 WiG 在目标识别任务与图像复原任务上进行了评估。实验对比表明，所提出的 WiG 超越了包括 ReLU 在内的现有激活函数。
引用
@article{arxiv.1810.01829,
title = {Weighted Sigmoid Gate Unit for an Activation Function of Deep Neural Network},
author = {Masayuki Tanaka},
journal= {arXiv preprint arXiv:1810.01829},
year = {2018}
}