深度神经网络正则化中 Dither 优于 Dropout
机器学习
2015-08-27 v2
摘要
深度神经网络（DNN）训练过程中的正则化对性能至关重要。迄今为止最流行的方法称为 dropout。此处，通过信号处理理论的棱镜，我们比较并对比了 dropout 与抖动(dither) 的正则化效应。我们阐明了 dropout 的一些严重固有局限，并证明抖动(dither) 提供了更有效的正则化器。
引用
@article{arxiv.1508.04826,
title = {Dither is Better than Dropout for Regularising Deep Neural Networks},
author = {Andrew J. R. Simpson},
journal= {arXiv preprint arXiv:1508.04826},
year = {2015}
}