CoMFLP：基于相关性度量的ASR层剪枝快速搜索
音频与语音处理
2023-09-22 v1 声音
摘要
基于Transformer的深层语音识别（ASR）模型展现出显著的性能提升。然而，该模型在资源受限设备上部署时效率低下。层剪枝（LP）是一种常用的压缩方法，用于移除冗余层。以往LP研究通常依据任务特定评估指标识别冗余层，即便采用贪心搜索方式，对于层数众多的模型也耗时严重。为解决此问题，我们提出CoMFLP，一种基于相关性度量的快速搜索LP算法。计算层间相关性以生成相关性矩阵，从而识别层间冗余。搜索过程分两步进行：（1）粗搜索：基于相关性矩阵剪枝最冗余层以确定前个候选；（2）细搜索：使用任务特定评估指标从个候选中选出最佳剪枝方案。ASR任务上的实验表明，CoMFLP确定的剪枝方案优于现有LP方法，且仅需常数时间复杂度。代码已公开于 https://github.com/louislau1129/CoMFLP。
关键词
引用
@article{arxiv.2309.11768,
title = {CoMFLP: Correlation Measure based Fast Search on ASR Layer Pruning},
author = {Wei Liu and Zhiyuan Peng and Tan Lee},
journal= {arXiv preprint arXiv:2309.11768},
year = {2023}
}
备注
Accepted by Interspeech 2023