基于对数正态乘性噪声的结构化贝叶斯剪枝
机器学习
2017-11-07 v2
摘要
基于 Dropout 的正则化方法可视为在训练过程中向神经网络的不同部分注入具有预定义幅度的随机噪声。近期研究表明，贝叶斯 Dropout 过程不仅能提升泛化能力，还能通过自动设定每个权重的独立噪声幅度，产生极其稀疏的神经架构。然而，这种稀疏性由于是非结构化的，难以用于加速。本文提出一种新的贝叶斯模型，该模型考虑了神经网络的计算结构，并提供结构化稀疏性，例如移除 CNN 中的神经元和/或卷积通道。为此，我们向神经元输出注入噪声，同时保持权重不受正则化约束。我们建立了概率模型，采用适当的截断对数均匀先验分布描述噪声，并使用截断对数正态变分近似，确保证据下界中的 KL 项能以闭式形式计算。该模型通过从计算图中移除低信噪比（SNR）的元素来实现结构化稀疏，并在多种深度神经架构上提供了显著的加速效果。该模型易于实现，可被构建为一个独立的类 Dropout 层。
引用
@article{arxiv.1705.07283,
title = {Structured Bayesian Pruning via Log-Normal Multiplicative Noise},
author = {Kirill Neklyudov and Dmitry Molchanov and Arsenii Ashukha and Dmitry Vetrov},
journal= {arXiv preprint arXiv:1705.07283},
year = {2017}
}