基于双语互信息的神经机器翻译自适应训练
计算与语言
2021-05-28 v2
摘要
近来，词元级自适应训练在机器翻译中取得了可喜的改进，其通过调整交叉熵损失函数、为不同词元分配不同训练权重，以缓解词元不平衡问题。然而，先前方法仅使用目标语言中的静态词频信息而未考虑源语言，这对于机器翻译等双语任务而言尚不充分。本文提出一种新颖的基于双语互信息（BMI）的自适应目标函数，从双语角度衡量每个目标词元的学习难度，并相应分配自适应权重以改进词元级自适应训练。该方法为具有较高 BMI 的词元分配较大训练权重，从而使简单词元以粗粒度更新、困难词元以细粒度更新。在 WMT14 英德与 WMT19 中英翻译任务上的实验结果证明了我们的方法相对于 Transformer 基线与先前词元级自适应训练方法的优越性。进一步分析确认我们的方法可提升词汇多样性。
引用
@article{arxiv.2105.12523,
title = {Bilingual Mutual Information Based Adaptive Training for Neural Machine Translation},
author = {Yangyifan Xu and Yijin Liu and Fandong Meng and Jiajun Zhang and Jinan Xu and Jie Zhou},
journal= {arXiv preprint arXiv:2105.12523},
year = {2021}
}
备注
Accepted by ACL-IJCNLP 2021 main conference (short paper). Code is available at: https://github.com/xydaytoy/BMI-NMT