机器翻译的自动测试与改进
软件工程
2019-12-30 v2
摘要
本文提出 TransRepair，一种用于测试和修复机器翻译系统一致性的全自动化方法。TransRepair 将变异与蜕变测试相结合，以检测不一致缺陷（无需人工 oracle）。随后，它以灰盒或黑盒方式采用概率参考或交叉参考对翻译进行后处理，以修复不一致。我们在两个最先进的翻译系统 Google Translate 和 Transformer 上的评估表明，TransRepair 在生成具有一致翻译的输入对方面具有高精度（99%）。借助这些测试，利用自动一致性度量和人工评估，我们发现 Google Translate 和 Transformer 分别存在约 36% 和 40% 的不一致缺陷。黑盒修复平均修复了 Google Translate 和 Transformer 上 28% 和 19% 的缺陷。灰盒修复平均修复了 Transformer 上 30% 的缺陷。人工检查表明，我们的方法修复的翻译在 87% 的情况下改善了一致性（在 2% 的情况下使其变差），并且我们的修复在 27% 的情况下具有更好的翻译可接受性（在 8% 的情况下更差）。
引用
@article{arxiv.1910.02688,
title = {Automatic Testing and Improvement of Machine Translation},
author = {Zeyu Sun and Jie M. Zhang and Mark Harman and Mike Papadakis and Lu Zhang},
journal= {arXiv preprint arXiv:1910.02688},
year = {2019}
}