神经网络中乘性噪声的尺度混合视角
机器学习
2015-06-11 v1
摘要
用常从伯努利分布（或“dropout”）抽取的乘性噪声腐蚀深度神经网络（DNN）的输入与隐藏层，提供了一种正则化，其极大促进了深度学习的成功。然而，由于 DNN 函数形式的复杂性，理解乘性损坏如何防止过拟合一直很困难。在本文中，我们表明当在 DNN 的权重上放置高斯先验时，施加乘性噪声会诱导出高斯尺度混合，其可被重参数化以规避有问题的似然函数。随后分析可通过使用 II 型最大似然过程进行，推导出闭式表达式，揭示正则化如何作为网络权重的函数演化。结果显示乘性噪声迫使权重变得稀疏或对重标度不变。我们发现我们的分析对模型压缩有意义，因为它自然揭示了一条与常用信噪比（SNR）截然相反的权重剪枝规则。虽然 SNR 将具有大方差的权重视为噪声而剪枝，我们的方法认识到其鲁棒性并保留它们。我们凭经验证明我们的方法相对于 SNR 启发式具有显著优势，且与利用教师模型产生的软目标进行重训练具有竞争力。
引用
@article{arxiv.1506.03208,
title = {A Scale Mixture Perspective of Multiplicative Noise in Neural Networks},
author = {Eric Nalisnick and Anima Anandkumar and Padhraic Smyth},
journal= {arXiv preprint arXiv:1506.03208},
year = {2015}
}