循环网络上的张量链分解
机器学习
2020-06-11 v1 机器学习
摘要
长短期记忆（LSTM）网络等循环神经网络（RNN）在语音、语言、视频和多模态学习等众多日常任务中不可或缺。从云端到边缘计算的转变加剧了控制 RNN 参数增长的需求。当前 RNN 的研究表明，尽管在卷积神经网络（CNN）上取得了性能，在压缩 RNN 中保持良好性能仍具挑战。多数压缩文献聚焦于使用矩阵乘积（MPO）算符张量链的 CNN。然而，矩阵乘积态（MPS）张量链在存储缩减和推理计算时间方面比 MPO 更具吸引力。我们通过理论分析与 NLP 任务上的实际实验表明，MPS 张量链应处于 LSTM 网络压缩的前沿。
引用
@article{arxiv.2006.05442,
title = {Tensor train decompositions on recurrent networks},
author = {Alejandro Murua and Ramchalam Ramakrishnan and Xinlin Li and Rui Heng Yang and Vahid Partovi Nia},
journal= {arXiv preprint arXiv:2006.05442},
year = {2020}
}