聚焦目标端词表：面向机器翻译的掩码标签平滑
计算与语言
2022-03-14 v2 人工智能
摘要
标签平滑与词表共享是神经机器翻译模型中两种广泛使用的技术。然而，我们认为简单地同时应用这两种技术会产生冲突，甚至导致次优性能。在分配平滑概率时，原始标签平滑将永远不会出现在目标语言中的源端词与目标端真实词同等对待，这可能会使翻译模型产生偏置。为解决此问题，我们提出掩码标签平滑（Masked Label Smoothing, MLS），一种将源端词的软标签概率掩码为零的新机制。简单而有效，MLS更好地将标签平滑与词表共享相整合。我们大量的实验表明，MLS在包括双语与多语翻译在内的不同数据集上，无论从翻译质量还是模型的校准性，都持续优于原始标签平滑。我们的代码发布于 https://github.com/PKUnlp-icler/MLS
引用
@article{arxiv.2203.02889,
title = {Focus on the Target's Vocabulary: Masked Label Smoothing for Machine Translation},
author = {Liang Chen and Runxin Xu and Baobao Chang},
journal= {arXiv preprint arXiv:2203.02889},
year = {2022}
}
备注
ACL 2022 Main Conference, released at https://github.com/PKUnlp-icler/MLS