NASH：一种用于加速编码器-解码器语言模型的结构化剪枝简单统一框架
计算与语言
2023-10-17 v1 人工智能
机器学习
摘要
结构化剪枝方法已证明在减少模型规模和加速各种网络架构（如Transformer）的推理速度方面是有效的。尽管编码器-解码器模型在众多NLP任务中具有通用性，但相对于仅编码器的模型，此类模型上的结构化剪枝方法探索相对较少。在本研究中，我们从编码器和解码器组件解耦剪枝的视角分别考察了编码器-解码器模型的结构化剪枝行为。我们的发现强调了两点见解：（1）解码器层数是推理速度的主导因素；（2）被剪枝编码器网络中的低稀疏度可提升生成质量。受这些发现的启发，我们提出了一种简单而有效的框架NASH，它收窄编码器并缩短编码器-解码器模型的 decoder 网络。在多种生成和推理任务上的大量实验验证了我们的方法在加速和输出质量方面的有效性。
引用
@article{arxiv.2310.10054,
title = {NASH: A Simple Unified Framework of Structured Pruning for Accelerating Encoder-Decoder Language Models},
author = {Jongwoo Ko and Seungjoon Park and Yujin Kim and Sumyeong Ahn and Du-Seong Chang and Euijai Ahn and Se-Young Yun},
journal= {arXiv preprint arXiv:2310.10054},
year = {2023}
}
备注
Findings of the Association for Computational Linguistics: EMNLP 2023