论神经机器翻译的推理校准
计算与语言
2020-05-05 v1
摘要
置信度校准旨在使模型预测等于真实的准确性度量，它对神经机器翻译（NMT）十分重要，因为它能够提供生成输出中翻译错误有用的指示。尽管先前的研究表明，使用标签平滑训练的NMT模型在真实训练数据上是良好校准的，但我们发现，由于训练与推理之间的差异，校准不良在NMT推理过程中仍是一个严峻挑战。通过在三个语言对上精心设计的实验，我们的工作深入分析了校准与翻译性能之间的相关性，以及校准不良的语言学特性，并报告了一些可能帮助人类更好地分析、理解和改进NMT模型的有趣发现。基于这些观察，我们进一步提出了一种新的渐进式标签平滑方法，能够同时改善推理校准和翻译性能。
引用
@article{arxiv.2005.00963,
title = {On the Inference Calibration of Neural Machine Translation},
author = {Shuo Wang and Zhaopeng Tu and Shuming Shi and Yang Liu},
journal= {arXiv preprint arXiv:2005.00963},
year = {2020}
}
备注
Accepted by ACL2020