门控循环神经网络的结构化稀疏化
机器学习
2019-11-14 v1 计算与语言
机器学习
摘要
近来，大量技术被开发用于稀疏化神经网络的权重并移除网络的结构单元，例如神经元。我们将现有稀疏化方法调整应用于门控循环架构。具体而言，除权重与神经元的稀疏化外，我们提出对门的预激活进行稀疏化。这使得某些门变为常数并简化 LSTM 结构。我们在文本分类与语言建模任务上测试了我们的方法。我们观察到所得的门稀疏结构依赖于任务，并将所学结构关联到特定任务的具体特性。我们的方法在多数任务中也改进了模型的神经元级压缩。
引用
@article{arxiv.1911.05585,
title = {Structured Sparsification of Gated Recurrent Neural Networks},
author = {Ekaterina Lobacheva and Nadezhda Chirkova and Alexander Markovich and Dmitry Vetrov},
journal= {arXiv preprint arXiv:1911.05585},
year = {2019}
}
备注
Published in Workshop on Context and Compositionality in Biological and Artificial Neural Systems, NeurIPS 2019