通过矩阵乘积算子压缩 LSTM 网络
网络与互联网体系结构
2022-04-01 v3 计算物理
量子物理
摘要
长短期记忆（LSTM）模型是许多最先进的自然语言处理（NLP）与语音增强（SE）算法的基本构件。然而，LSTM 模型中存在大量参数。这通常消耗大量资源来训练 LSTM 模型。此外，LSTM 模型在推理阶段存在计算效率低下的问题。现有的模型压缩方法（如模型剪枝）仅能基于模型参数的幅值进行判别，忽略了基于模型信息的重要性分布问题。此处我们引入 MPO 分解，其描述量子多体物理中量子态的局域关联，并用于表示神经网络中的大模型参数矩阵，可通过截断权重矩阵中不重要的信息来压缩神经网络。本文提出一种基于矩阵乘积算子（MPO）的神经网络架构以替代 LSTM 模型。MPO 对神经网络的有效表示一方面可有效降低训练 LSTM 模型的计算消耗，另一方面可加速模型推理阶段的计算。我们在序列分类、序列预测与语音增强任务上，将基于 MPO-LSTM 模型的压缩模型与采用剪枝方法的传统 LSTM 模型进行比较。实验结果表明，我们提出的基于 MPO 方法的神经网络架构显著优于剪枝方法。
引用
@article{arxiv.2012.11943,
title = {Compressing LSTM Networks by Matrix Product Operators},
author = {Ze-Feng Gao and Xingwei Sun and Lan Gao and Junfeng Li and Zhong-Yi Lu},
journal= {arXiv preprint arXiv:2012.11943},
year = {2022}
}
备注
2 figures, 5 tables