低秩矩阵分解用于 LSTM 模型压缩的有效性
计算与语言
2019-08-28 v1
摘要
尽管 LSTM（Long Short-Term Memory，长短期记忆）网络在 NLP（自然语言处理）任务中无处不在，但其固有的不可并行递归导致计算效率低下，且随着 LSTM 需要更多参数以具备更大记忆容量，该问题进一步加剧。本文中，我们提出将低秩矩阵分解（MF）算法应用于 LSTM 中的不同递归，并探究其在不同 NLP 任务与模型组件上的有效性。我们发现加性递归比乘性递归更重要，并通过识别矩阵范数与压缩性能之间的有意义相关性来解释这一点。我们在两种设定下比较了我们的方法：1) 压缩语言模型中的核心 LSTM 递归，2) 压缩在三个下游 NLP 任务中评估的 ELMo 的 biLSTM 层。
引用
@article{arxiv.1908.09982,
title = {On the Effectiveness of Low-Rank Matrix Factorization for LSTM Model Compression},
author = {Genta Indra Winata and Andrea Madotto and Jamin Shin and Elham J. Barezi and Pascale Fung},
journal= {arXiv preprint arXiv:1908.09982},
year = {2019}
}
备注
Accepted in PACLIC 2019