基于内部语言模型估计的自适应语言模型融合用于领域自适应
计算与语言
2023-03-03 v2 声音
音频与语音处理
摘要
ASR模型的部署环境不断变化，在一次会话中 incoming 语音可能在不同领域间切换。当仅有目标领域文本数据可用时，这给有效的领域自适应带来挑战，我们的目标是在目标领域获得明显提升性能的同时，通用领域性能受损害较小。本文提出一种称为基于内部语言模型估计的自适应领域自适应（ILME-ADA）的自适应LM融合方法。为实现该ILME-ADA，基于内部LM与外部LM（ELM）各自得分的最大值计算插值对数似然得分。我们在两个特定领域（目标）测试集上，分别以RNN-T与LAS建模框架并结合神经网络与n-gram LM作为ELM，证明了所提ILME-ADA方法的有效性。与浅层融合及基于ILME的LM融合方法相比，所提方法在目标测试集上取得显著更优性能，同时在通用测试集上性能退化最小。
引用
@article{arxiv.2211.00968,
title = {Internal Language Model Estimation based Adaptive Language Model Fusion for Domain Adaptation},
author = {Rao Ma and Xiaobo Wu and Jin Qiu and Yanan Qin and Haihua Xu and Peihao Wu and Zejun Ma},
journal= {arXiv preprint arXiv:2211.00968},
year = {2023}
}
备注
Accepted by ICASSP 2023