具有快速乘法性质的 Kronecker CP 分解用于压缩 RNNs
计算机视觉与模式识别
2021-09-27 v2
摘要
循环神经网络（RNNs）在面向序列数据的任务中表现强大，如自然语言处理与视频识别。然而，由于现代 RNNs（包括长短期记忆（LSTM）与门控循环单元（GRU）网络）具有复杂拓扑与高昂的空间/计算复杂度，压缩它们成为近年来的热点且有前景的课题。在众多压缩方法中，张量分解，例如张量列（TT）、块项（BT）、张量环（TR）与层次 Tucker（HT），因可能获得极高压缩比而显得最为引人注目。尽管如此，这些张量分解格式均无法同时提供空间与计算效率。本文中，我们考虑基于一种新颖的 Kronecker CANDECOMP/PARAFAC (KCP) 分解来压缩 RNNs，该分解源自 Kronecker 张量（KT）分解，通过提出两种输入与张量分解权重间乘法的快速算法。根据我们基于 UCF11、Youtube Celebrities Face 与 UCF50 数据集的实验，可验证所提 KCP-RNNs 具有与其他张量分解格式可比的精度性能，且低秩 KCP 可获得高达 278,219 倍的压缩比。更重要的是，在相似秩下，KCP-RNNs 相比其他张量分解格式在空间与计算复杂度上均高效。此外，我们发现 KCP 具有最佳的并行计算潜力以加速神经网络中的计算。
引用
@article{arxiv.2008.09342,
title = {Kronecker CP Decomposition with Fast Multiplication for Compressing RNNs},
author = {Dingheng Wang and Bijiao Wu and Guangshe Zhao and Man Yao and Hengnu Chen and Lei Deng and Tianyi Yan and Guoqi Li},
journal= {arXiv preprint arXiv:2008.09342},
year = {2021}
}
备注
Accepted by TNNLS