面向通用错误诊断的机器翻译行为测试
计算与语言
2023-10-23 v1 人工智能
机器学习
软件工程
摘要
行为测试为诊断自然语言处理模型的语言错误和评估其能力提供了重要手段。然而，将行为测试应用于机器翻译（MT）系统具有挑战性，因为它通常需要人工构建参考译文，以评估此类系统在新生成测试用例上的翻译质量。MT系统行为测试的现有工作通过无参考评估翻译质量来规避该问题，但这将诊断限制于特定错误类型，例如单个数字或货币词的误译。为诊断通用错误，本文提出一种新的基于双语翻译对生成的行为测试（BTPGBT）框架，用于对MT系统开展行为测试。BTPGBT的核心思想是采用一种新颖的双语翻译对生成（BTPG）方法，自动构建高质量测试用例及其伪参考译文。在多种MT系统上的实验结果表明，BTPGBT能够为通用错误诊断提供全面且准确的行为测试结果，并进一步带来若干有见地的发现。我们的代码和数据可在 https://github.com/wujunjie1998/BTPGBT 获取。
引用
@article{arxiv.2310.13362,
title = {Towards General Error Diagnosis via Behavioral Testing in Machine Translation},
author = {Junjie Wu and Lemao Liu and Dit-Yan Yeung},
journal= {arXiv preprint arXiv:2310.13362},
year = {2023}
}
备注
15 pages, 2 figures, accepted by Findings of EMNLP 2023