测量语音LLM解码器层的冗余性
计算与语言
2026-03-06 v1 人工智能
摘要
语音大型语言模型将语音编码器表示路由到通常占总参数超过90%的LLM解码器中。我们研究这种解码器容量实际需求。通过两个LLM族和三个规模（1-8B）的实验，显示解码器冗余性主要来源于预训练LLM：文本和语音输入均产生相似的冗余块。随后我们通过剪枝解码器层并分析修剪后的恢复能力来衡量超额容量。我们的发现表明，7-8B模型仅保留60%的解码器层即可保持良好的语音识别性能，小规模模型同样遵循此趋势但修剪容忍度较低。我们进一步推广到语音翻译，发现相同层块在语音编码器、任务和语言间均冗余，表明存在更全局的冗余结构，使单一被剪枝且多任务的语音LLM主干网络可被部署。
引用
@article{arxiv.2603.05121,
title = {Measuring the Redundancy of Decoder Layers in SpeechLLMs},
author = {Adel Moumen and Guangzhi Sun and Philip C Woodland},
journal= {arXiv preprint arXiv:2603.05121},
year = {2026}
}