超越噪声：缓解细粒度语义分歧对神经机器翻译的影响
计算与语言
2021-06-01 v1
摘要
尽管已有研究表明神经机器翻译（NMT）对含噪平行训练样本高度敏感，但先前工作将源端与目标端之间所有类型的不匹配都视为噪声。因此，那些大体等价但包含少量语义分歧词元的样本如何影响 NMT 训练仍不清楚。为弥补这一空白，我们分析了不同类型细粒度语义分歧对 Transformer 模型的影响。我们表明，在合成分歧上训练的模型更频繁地输出退化文本，且对其预测置信度更低。基于这些发现，我们引入了一种分歧感知的 NMT 框架，利用因子帮助 NMT 从自然发生的分歧所引起的退化中恢复，在 EN-FR 任务上同时提升了翻译质量与模型校准。
引用
@article{arxiv.2105.15087,
title = {Beyond Noise: Mitigating the Impact of Fine-grained Semantic Divergences on Neural Machine Translation},
author = {Eleftheria Briakou and Marine Carpuat},
journal= {arXiv preprint arXiv:2105.15087},
year = {2021}
}
备注
ACL 2021