用于压缩循环神经网络的张量分解
机器学习
2018-05-09 v2
摘要
在机器学习领域，循环神经网络(RNN)已成为序列数据建模的流行架构。然而，在令人印象深刻的性能背后，RNN 在训练和推理中都需要大量参数。本文试图同时减少 RNN 的参数数量并保持其表达能力。我们利用若干张量分解方法，包括 CANDECOMP/PARAFAC (CP)、Tucker 分解和张量列(TT)，对门控循环单元(GRU) RNN 进行重新参数化。我们在具有不同参数数量的序列建模任务上评估了所有基于张量的 RNN 的性能。基于实验结果，TT-GRU 在不同参数数量下相比其他分解方法取得了最佳结果。
引用
@article{arxiv.1802.10410,
title = {Tensor Decomposition for Compressing Recurrent Neural Network},
author = {Andros Tjandra and Sakriani Sakti and Satoshi Nakamura},
journal= {arXiv preprint arXiv:1802.10410},
year = {2018}
}
备注
Accepted at IJCNN 2018. Source code URL: https://github.com/androstj/tensor_rnn