动态 ASR 路径：一种面向多语言 ASR 模型高效剪枝的自适应掩码方法
音频与语音处理
2025-06-19 v2 人工智能
计算与语言
机器学习
声音
摘要
神经网络剪枝提供了一种以最小性能损失压缩多语言自动语音识别（ASR）模型的有效方法。然而，每种语言都需要进行若干轮剪枝与重训练。本文提出在两种场景下使用自适应掩码方法高效剪枝多语言 ASR 模型，分别得到稀疏单语模型或稀疏多语模型（称为动态 ASR 路径）。我们的方法动态适应子网络，避免对固定子网络结构做出过早决策。我们表明，在目标为稀疏单语模型时，我们的方法优于现有剪枝方法。此外，我们说明动态 ASR 路径通过从不同子网络初始化进行适应，联合发现并训练了单一多语言模型中更优的子网络（路径），从而减少了对特定语言剪枝的需求。
引用
@article{arxiv.2309.13018,
title = {Dynamic ASR Pathways: An Adaptive Masking Approach Towards Efficient Pruning of A Multilingual ASR Model},
author = {Jiamin Xie and Ke Li and Jinxi Guo and Andros Tjandra and Yuan Shangguan and Leda Sari and Chunyang Wu and Junteng Jia and Jay Mahadeokar and Ozlem Kalinli},
journal= {arXiv preprint arXiv:2309.13018},
year = {2025}
}