消除乘性噪声的特征相关性效应
机器学习
2018-09-20 v1 机器学习
摘要
乘性噪声（包括 dropout）被广泛用于正则化深度神经网络（DNNs），并被证明在广泛的架构与任务中有效。从信息视角，我们将向 DNN 注入乘性噪声视为以含噪信息通路训练网络求解任务，由此观察到乘性噪声倾向于增加特征间的相关性，以提高信息通路的信噪比。然而，高特征相关性是不可取的，因为它增加了表征中的冗余。本工作中，我们提出非相关乘性噪声（NCMN），利用批归一化以简单而有效的方式消除相关性效应。我们表明 NCMN 在图像分类任务上显著改进了标准乘性噪声的性能，为批归一化网络提供了比 dropout 更好的替代方案。此外，我们给出了 NCMN 与 shake-shake 正则化的统一视角，解释了后者的性能提升。
引用
@article{arxiv.1809.07023,
title = {Removing the Feature Correlation Effect of Multiplicative Noise},
author = {Zijun Zhang and Yining Zhang and Zongpeng Li},
journal= {arXiv preprint arXiv:1809.07023},
year = {2018}
}