“双语专家”可发现翻译错误
计算与语言
2018-11-20 v3
摘要
近期通过采用神经序列到序列模型在统计机器翻译上的进展，使端到端系统在许多 WMT 基准上达到最先进水平。当提供黄金参考用于验证时，此类机器翻译（MT）系统的性能通常通过自动指标 BLEU 评估。然而，对于模型推断或生产部署，黄金参考难以获取或需要昂贵的具备双语专业知识的人工标注。为解决无参考质量评估（QE）问题，我们提出一个用于大多数 WMT 质量评估任务的翻译输出自动评估通用框架。我们首先用一种新颖的双向 transformer（称为神经双语专家模型）构建条件目标语言模型，该模型在大型平行语料上预训练以提取特征。对于 QE 推断，双语专家模型可同时产生源语言与译文之间的联合潜在表示，以及基于从平行数据学到的先验知识对可能错误 token 的实值度量。随后，这些特征将进一步送入简单的 Bi-LSTM 预测模型以进行质量评估。实验结果表明，我们的方法在 WMT 2017/2018 的质量估计赛道中取得了最先进的性能。
引用
@article{arxiv.1807.09433,
title = {"Bilingual Expert" Can Find Translation Errors},
author = {Kai Fan and Jiayi Wang and Bo Li and Fengming Zhou and Boxing Chen and Luo Si},
journal= {arXiv preprint arXiv:1807.09433},
year = {2018}
}
备注
Accepted to AAAI 2019