面向多语言 ASR 的参数高效语言扩展框架
计算与语言
2024-06-11 v1 音频与语音处理
摘要
用单一的多语言语音识别模型 (MASR) 覆盖所有语言非常困难。在现有 MASR 基础上进行语言扩展是一个理想的选择。在本研究中，MASR 持续学习问题被概率分解为语言身份预测 (LP) 和跨语言适应 (XLA) 子问题。基于此，我们提出了一种基于架构的语言扩展框架，能够从根本上解决灾难性遗忘问题，被称为 PELE。PELE 被设计为参数高效的，通过增量地引入附加模块来适应新语言。具体而言，我们探索了不同的参数高效微调 (PEFT) 模块及其变体作为执行 XLA 的潜在候选方案。实验在 5 种新语言上进行，涵盖了广泛的低资源数据规模。表现最佳的 PEFT 候选方案在所有语言上均取得了令人满意的性能，并在五种语言中的三种上优于持续联合学习设置。值得注意的是，关注权重参数或输入特征的 PEFT 方法在性能上表现出局限性，与在层间插入轻量级模块（如 Adapter）相比，其扩展能力显著较弱。
引用
@article{arxiv.2406.06329,
title = {A Parameter-efficient Language Extension Framework for Multilingual ASR},
author = {Wei Liu and Jingyong Hou and Dong Yang and Muyong Cao and Tan Lee},
journal= {arXiv preprint arXiv:2406.06329},
year = {2024}
}
备注
Accepted by Interspeech 2024