为 multilingual ASR 中的语码转换适配适配器
计算与语言
2023-10-12 v1 声音
音频与语音处理
摘要
近年来，大型预训练多语言语音模型在将自动语音识别（ASR）扩展到许多低资源语言方面展现出潜力。其中一些模型在设计中采用了语言适配器，这有助于提升单语性能，并避免多语言建模在资源丰富语言上的一些缺陷。然而，这种形式限制了这些模型在语码转换语音上的可用性，即两种语言在同一话语中混合。在本工作中，我们提出了在此类模型上有效微调语码转换语音的方法，通过在网络中每个语言适配点吸收来自两个语言适配器的信息。我们还将语码转换建模为一系列潜在二元序列，可用于在帧级别引导各语言适配器的信息流。所提方法在涵盖阿拉伯语、普通话和印地语与英语配对的三个语码转换数据集上进行了评估，显示出语码转换性能的一致提升，在所有测试集上 CER 绝对降低至少 10%。
引用
@article{arxiv.2310.07423,
title = {Adapting the adapters for code-switching in multilingual ASR},
author = {Atharva Kulkarni and Ajinkya Kulkarni and Miguel Couceiro and Hanan Aldarmaki},
journal= {arXiv preprint arXiv:2310.07423},
year = {2023}
}
备注
Submitted to ICASSP 2024