门控循环神经网络的贝叶斯稀疏化
机器学习
2018-12-17 v1 计算与语言
机器学习
摘要
贝叶斯方法已成功应用于稀疏化神经网络权重以及从网络中移除结构单元（例如神经元）。我们将此方法应用于门控循环架构并进一步发展。具体地，除对个体权重和神经元进行稀疏化外，我们提出对 LSTM 中门的预激活及信息流进行稀疏化。这使得部分门和信息流组件变为常数，加速前向传播并改善压缩。此外，由此产生的门稀疏化结构是可解释的，且依赖于任务。代码可在 github 获取：https://github.com/tipt0p/SparseBayesianRNN
引用
@article{arxiv.1812.05692,
title = {Bayesian Sparsification of Gated Recurrent Neural Networks},
author = {Ekaterina Lobacheva and Nadezhda Chirkova and Dmitry Vetrov},
journal= {arXiv preprint arXiv:1812.05692},
year = {2018}
}
备注
Published in Workshop on Compact Deep Neural Networks with industrial applications, NeurIPS 2018