在深度神经网络中利用并行抖动驯服 ReLU
机器学习
2015-09-18 v1
摘要
在许多（但并非全部）深度神经网络（DNN）应用中，Rectified Linear Units（ReLU）似乎已经取代了传统的“平滑”非线性函数，成为当下的首选激活函数。然而，似乎没有人知道其原因。在本文中，我们认为 ReLU 之所以有用，是因为它们是理想的解调器——这有助于它们执行快速的抽象学习。然而，这种快速学习是以严重的非线性失真产物——诱饵特征——为代价的。我们表明，并行抖动可以抑制诱饵特征，防止过拟合，并使真实特征被干净地解调，从而实现快速、可靠的学习。
引用
@article{arxiv.1509.05173,
title = {Taming the ReLU with Parallel Dither in a Deep Neural Network},
author = {Andrew J. R. Simpson},
journal= {arXiv preprint arXiv:1509.05173},
year = {2015}
}