使用单语训练数据的语码转换语言模型
计算与语言
2020-12-25 v2 声音
音频与语音处理
摘要
仅使用单语数据训练语码转换（CS）语言模型仍是一个正在进行的研究问题。在本文中，仅使用单语训练数据训练了一个 CS 语言模型。由于循环神经网络（RNN）模型最适合预测序列数据，在这项工作中，仅使用单语英语和西班牙语数据的交替批次训练了一个 RNN 语言模型，并计算了该语言模型的困惑度。从结果中得出结论，在训练中使用单语数据的交替批次降低了 CS 语言模型的困惑度。使用基于 RNN 的语言模型输出嵌入中的均方误差（MSE）持续改进了结果。通过结合两种方法，困惑度从 299.63 降低到 80.38。所提出的方法与使用语码转换训练数据微调的语言模型相当。
引用
@article{arxiv.2012.12543,
title = {Code Switching Language Model Using Monolingual Training Data},
author = {Asad Ullah and Tauseef Ahmed},
journal= {arXiv preprint arXiv:2012.12543},
year = {2020}
}
备注
submitted to ICASSP2021