基于层次 Tucker 张量分解的循环神经网络压缩
机器学习
2020-05-12 v1 机器学习
摘要
循环神经网络（RNNs）已广泛用于序列分析与建模。然而，在处理高维数据时，RNNs 通常需要非常大的模型规模，从而带来一系列部署挑战。尽管最先进的张量分解方法能提供良好的模型压缩性能，但这些现有方法仍存在一些固有局限，如表示能力受限和模型复杂度降低不足。为克服这些局限，本文提出使用层次 Tucker（HT）分解来构建紧凑的 RNN 模型。HT 分解为分解后的 RNN 模型带来强层次结构，这对于增强表示能力非常有用且重要。同时，相较于现有的 RNN 压缩张量分解方法，HT 分解提供了更高的存储与计算成本缩减。我们的实验结果表明，与 TT-LSTM、TR-LSTM 和 BT-LSTM 等最先进的压缩 RNN 模型相比，我们所提出的基于 HT 的 LSTM（HT-LSTM）在不同数据集上一致地实现了压缩比和测试准确率的同步显著提升。
引用
@article{arxiv.2005.04366,
title = {Compressing Recurrent Neural Networks Using Hierarchical Tucker Tensor Decomposition},
author = {Miao Yin and Siyu Liao and Xiao-Yang Liu and Xiaodong Wang and Bo Yuan},
journal= {arXiv preprint arXiv:2005.04366},
year = {2020}
}