LUPET: 将分层信息路径融入多语种ASR
音频与语音处理
2025-01-10 v3 声音
摘要
为实现高性能的多语种自动语音识别(ASR),各类语言信息与模型设计已分别展现出其有效性。这些方法包括语言身份(LID)、音素信息、特定语言处理模块以及跨语言自监督语音表征。预期在一个统一的解决方案中协同利用它们的优势将进一步提升系统的整体性能。本文提出了一种名为LUPET的分层信息路径的新颖设计,它从浅层到深层,在不同粒度尺度上依次编码语言和声学信息的多个方面。该路径从LID预测开始,随后是声学单元发现、音素共享,最后由混合专家模型进行令牌识别路由。在Common Voice语料库中的10种语言上进行了ASR实验。结果表明,与基线系统相比,LUPET展现出优越的性能。最重要的是,LUPET有效缓解了多语种环境下高资源语言与低资源语言之间性能折中的问题。
引用
@article{arxiv.2401.03689,
title = {LUPET: Incorporating Hierarchical Information Path into Multilingual ASR},
author = {Wei Liu and Jingyong Hou and Dong Yang and Muyong Cao and Tan Lee},
journal= {arXiv preprint arXiv:2401.03689},
year = {2025}
}
备注
Accepted by Interspeech 2024