码混合到单语翻译框架
计算与语言
2019-11-25 v2
摘要
新一代人在社交媒体上以码混合数据形式展现的多语现象十分普遍，因此需要鲁棒的翻译系统以服务于单语用户，并便于语言处理模型理解。本工作中，我们提出一种翻译框架，采用翻译-音译策略将码混合数据转换为等价的单语实例。为将输出转换为更流畅的形式，使用目标语言模型对其进行重排序。所提框架最重要的优势在于其任何阶段都不需要码混合到单语的平行语料库。在测试该框架时，其分别取得了 16.47 和 55.45 的 BLEU 与 TER 分数。由于所提框架涉及多个子模块，我们深入探讨了各模块的重要性，分析错误，并最后讨论了一些改进策略。
引用
@article{arxiv.1911.03772,
title = {Code-Mixed to Monolingual Translation Framework},
author = {Sainik Kumar Mahata and Soumil Mandal and Dipankar Das and Sivaji Bandyopadhyay},
journal= {arXiv preprint arXiv:1911.03772},
year = {2019}
}
备注
6 pages, 3 figures, 2 tables