用于语码转换语音识别的注意力引导自适应方法
音频与语音处理
2024-01-15 v2 声音
摘要
诸如 Whisper 等强大的多语言模型的普及，极大地推动了语音识别的研究。然而，这些模型在处理语码转换 (code-switching) 场景时常常遇到困难，而这在多语言语音识别中是必不可少的。最近的研究试图通过分离不同语言的模块来确保语言的独立潜在表示，以此解决该场景。另有一些方法考虑了基于语言识别的切换机制。在本研究中，提出了一种新的注意力引导自适应方法，用于双语 ASR 的参数高效学习。该方法选择模型中能够紧密表达语言身份的注意力头，然后引导这些注意力头正确地关注其对应的语言。在汉英语码转换语音语料库上的实验表明，所提出的方法实现了 14.2% 的混合错误率，超越了 SOTA 方法，且仅训练了比 Whisper 多 5.6% 的额外参数。
引用
@article{arxiv.2312.08856,
title = {Attention-Guided Adaptation for Code-Switching Speech Recognition},
author = {Bobbi Aditya and Mahdin Rohmatillah and Liang-Hsuan Tai and Jen-Tzung Chien},
journal= {arXiv preprint arXiv:2312.08856},
year = {2024}
}
备注
Accepted to ICASSP 2024