如1、2、3般简单：神经机器翻译系统数值翻译的行为测试
计算与语言
2021-07-20 v1 密码学与安全
摘要
误译的数字可能造成严重影响，如财务损失或医疗误导。在本工作中，我们通过行为测试对神经机器翻译系统处理数值文本的鲁棒性进行全面评估。我们探索系统应具备的多种数值翻译能力，并设计有效的测试样例以暴露系统性能不足。我们发现数值误译是一个普遍问题：主流商业系统与最先进的研究模型在我们许多测试样例上均失败，无论高资源还是低资源语言。据我们所知，我们的测试揭示了神经机器翻译系统中此前未被报道的新错误。最后，我们讨论了缓解数值误译的策略。
引用
@article{arxiv.2107.08357,
title = {As Easy as 1, 2, 3: Behavioural Testing of NMT Systems for Numerical Translation},
author = {Jun Wang and Chang Xu and Francisco Guzman and Ahmed El-Kishky and Benjamin I. P. Rubinstein and Trevor Cohn},
journal= {arXiv preprint arXiv:2107.08357},
year = {2021}
}
备注
Findings of ACL, to appear