同声机器翻译中训练与测试间的上下文一致性
计算与语言
2023-11-14 v1
摘要
同声机器翻译（SiMT）旨在利用单调递增的原端上下文实时生成部分译文。然而，训练与测试间存在关于上下文使用的反直觉现象：例如，一致以 wait-k 训练的 wait-k 测试模型，在翻译质量上远差于以 wait-k'（k' 不等于 k）不一致训练的该模型。为此，我们首先探究该现象背后的原因，揭示以下两个因素：1）翻译质量与训练（交叉熵）损失间相关性有限；2）训练与测试间的暴露偏差。基于这两点原因，我们进而提出一种称为上下文一致性训练的有效训练方法，其通过将翻译质量与延迟作为双目标优化，并在训练中将预测暴露给模型，使训练与测试的上下文使用保持一致。在三个语言对上的实验印证了我们的直觉：借助上下文一致性训练方法，我们鼓励上下文一致的系统首次超越了现有上下文不一致的系统。
引用
@article{arxiv.2311.07066,
title = {Context Consistency between Training and Testing in Simultaneous Machine Translation},
author = {Meizhi Zhong and Lemao Liu and Kehai Chen and Mingming Yang and Min Zhang},
journal= {arXiv preprint arXiv:2311.07066},
year = {2023}
}