学习 ASR 路径：一种稀疏多语言 ASR 模型
音频与语音处理
2023-10-02 v4 计算与语言
摘要
神经网络剪枝能有效压缩自动语音识别（ASR）模型。然而，在多语言 ASR 中，与语言无关的剪枝可能因语言无关剪枝掩码并不适配所有语言并丢弃重要的语言特定参数，导致某些语言性能严重下降。本工作中，我们提出 ASR 路径（ASR pathways），一种稀疏多语言 ASR 模型，其激活语言特定的子网络（“路径”），从而显式学习每种语言的参数。借助重叠子网络，共享参数还可通过联合多语言训练为低资源语言实现知识迁移。我们提出一种学习 ASR 路径的新算法，并在 4 种语言上以流式 RNN-T 模型评估该方法。我们提出的 ASR 路径优于稠密模型与语言无关剪枝模型，且相比单语稀疏模型在低资源语言上提供更好性能。
引用
@article{arxiv.2209.05735,
title = {Learning ASR pathways: A sparse multilingual ASR model},
author = {Mu Yang and Andros Tjandra and Chunxi Liu and David Zhang and Duc Le and Ozlem Kalinli},
journal= {arXiv preprint arXiv:2209.05735},
year = {2023}
}
备注
Accepted by ICASSP 2023