基于编码器-解码器模型的神经机器翻译校准
机器学习
2019-03-06 v1 计算与语言
机器学习
摘要
我们研究了若干基于注意力编码器-解码器模型构建的最先进神经机器翻译（NMT）系统的校准。对于像NMT这样的结构化输出，校准不仅对于预测的可靠置信度至关重要，对于束搜索推理的正常运行也很重要。我们表明，大多数现代NMT模型即使在以真实前文词为条件时也出人意料地未校准。我们的调查得出两个主要原因——EOS（序列结束标记）的严重未校准以及注意力不确定性的抑制。我们基于这些信号设计了重新校准方法，并展示了准确率的提升、更好的序列级校准，以及来自束搜索更直观的结果。
引用
@article{arxiv.1903.00802,
title = {Calibration of Encoder Decoder Models for Neural Machine Translation},
author = {Aviral Kumar and Sunita Sarawagi},
journal= {arXiv preprint arXiv:1903.00802},
year = {2019}
}
备注
12 Pages