利用张量列压缩循环神经网络
机器学习
2017-10-31 v1
摘要
循环神经网络（RNN）是建模时间与序列任务的流行选择，并在各种复杂问题上取得了许多最先进的性能。然而，大多数最先进的 RNN 拥有数百万参数，并需要大量计算资源来训练和预测新数据。本文提出了一种替代的 RNN 模型，通过基于张量列（Tensor Train, TT）格式表示权重参数来显著减少参数数量。在本文中，我们为若干 RNN 架构（如简单 RNN 与门控循环单元（Gated Recurrent Unit, GRU））实现了 TT 格式表示。我们在序列分类与序列预测任务上将所提 RNN 模型与未压缩 RNN 模型进行比较和评估。我们提出的具有 TT 格式的 RNN 能够在保持性能的同时显著减少 RNN 参数数量，最高可缩小至 1/40。
引用
@article{arxiv.1705.08052,
title = {Compressing Recurrent Neural Network with Tensor Train},
author = {Andros Tjandra and Sakriani Sakti and Satoshi Nakamura},
journal= {arXiv preprint arXiv:1705.08052},
year = {2017}
}
备注
Accepted at IJCNN 2017