探究语言模型在神经转导器序列判别训练中的作用
计算与语言
2023-10-12 v1 声音
音频与语音处理
摘要
在本工作中，我们探究了基于音素的神经转导器在序列判别训练中所用语言模型（LMs）的不同上下文长度与标注单元（音素 vs. 词）的影响。我们考察了无格与 N-best-list 两种方法。针对使用音素级 LM 的无格方法，我们提出了一种近似上下文历史以采用具有全上下文依赖的 LM 的方法。该近似可扩展至任意上下文长度，并使得在无格方法中使用词级 LM 成为可能。此外，我们在无格与基于 N-best-list 的方法间进行了系统比较。在 Librispeech 上的实验结果表明，训练中使用词级 LM 优于音素级 LM。此外，我们发现用于概率计算的 LM 上下文大小对性能影响有限。而且，我们的结果揭示了假设空间质量在序列判别训练中的关键作用。
引用
@article{arxiv.2310.07345,
title = {Investigating the Effect of Language Models in Sequence Discriminative Training for Neural Transducers},
author = {Zijian Yang and Wei Zhou and Ralf Schlüter and Hermann Ney},
journal= {arXiv preprint arXiv:2310.07345},
year = {2023}
}
备注
accepted at ASRU 2023