LAE：面向单语与多语ASR的语言感知编码器
计算与语言
2022-06-07 v1 人工智能
摘要
尽管自动语音识别（ASR）研究进展迅速，使用统一ASR系统识别多语言语音仍极具挑战。以往多语言语音识别工作主要聚焦于两个方向：识别多种单语语音或识别在单次话语中交替使用不同语言的语码切换语音。然而，实用的多语言识别器应兼容上述两种方向。本文提出一种新颖的语言感知编码器（LAE）架构，通过在编码期间解耦语言特定信息并生成帧级语言感知表示来处理两种情况。在LAE中，主编码由共享块实现，而语言特定块用于提取每种语言的特定表示。为判别性地学习语言特定信息，提出一种语言感知训练方法以优化LAE中的语言特定块。在汉英语码切换语音上的实验表明，所提LAE能够判别帧级不同语言，并在单语与多语ASR任务上展现优越性能。无论是真实录制还是模拟的语码切换数据集，所提LAE在CTC与神经转导器系统上均取得统计显著的提升。代码已开源。
引用
@article{arxiv.2206.02093,
title = {LAE: Language-Aware Encoder for Monolingual and Multilingual ASR},
author = {Jinchuan Tian and Jianwei Yu and Chunlei Zhang and Chao Weng and Yuexian Zou and Dong Yu},
journal= {arXiv preprint arXiv:2206.02093},
year = {2022}
}