能力感知神经机器翻译：机器翻译能否知晓自身的翻译质量？
计算与语言
2022-11-28 v1 人工智能
摘要
神经机器翻译（NMT）常因在无感知情况下发生错误而受到批评。缺乏能力感知使 NMT 不可信。这与人类译员形成鲜明对比，后者在对预测存疑时会给出反馈或做进一步核查。为弥补这一差距，我们提出一种新颖的能力感知 NMT，通过为常规 NMT 扩展一个自估计器，赋予其翻译源句并估计自身能力的功能。自估计器编码解码过程的信息，然后检验其能否重构源句的原始语义。在四个翻译任务上的实验结果表明，所提方法不仅完整执行翻译任务，还在质量估计上取得优异表现。不依赖最先进度量与质量估计方法通常所需的任何参考或标注数据，我们的模型与人类质量判断的相关性甚至高于 BLEURT、COMET 和 BERTScore 等多种上述方法。定量与定性分析显示了我们的模型在能力感知上更好的鲁棒性。
引用
@article{arxiv.2211.13865,
title = {Competency-Aware Neural Machine Translation: Can Machine Translation Know its Own Translation Quality?},
author = {Pei Zhang and Baosong Yang and Haoran Wei and Dayiheng Liu and Kai Fan and Luo Si and Jun Xie},
journal= {arXiv preprint arXiv:2211.13865},
year = {2022}
}
备注
accepted to EMNLP 2022