基于矩阵乘积算子的预训练语言模型压缩轻量化微调方法
机器学习
2021-06-07 v1 人工智能
量子物理
摘要
本文提出一种基于量子多体物理中矩阵乘积算子(简称MPO)的预训练语言模型(PLM)压缩新方法。它可将原始矩阵分解为中心张量(包含核心信息)和辅助张量(仅含很小比例的参数)。利用分解后的MPO结构，我们提出一种仅更新辅助张量参数的新颖微调策略，并设计了基于MPO的堆叠网络架构近似优化算法。我们的方法可以通用方式应用于原始或压缩后的PLM，从而派生出更轻量的网络并显著减少需微调的参数。大量实验证明了该方法在模型压缩中的有效性，尤其是微调参数的减少(平均减少91%)。
引用
@article{arxiv.2106.02205,
title = {Enabling Lightweight Fine-tuning for Pre-trained Language Model Compression based on Matrix Product Operators},
author = {Peiyu Liu and Ze-Feng Gao and Wayne Xin Zhao and Z. Y. Xie and Zhong-Yi Lu and Ji-Rong Wen},
journal= {arXiv preprint arXiv:2106.02205},
year = {2021}
}
备注
Accepted by ACL 2021 main conference