面向神经机器翻译的频率感知对比学习
计算与语言
2021-12-30 v1
摘要
低频词预测在现代神经机器翻译（NMT）系统中仍是一项挑战。近期的自适应训练方法通过在整个训练目标中强调低频词的权重来提升其输出。尽管低频词的召回率有所改善，其预测精度却出人意料地受到自适应目标的阻碍。受低频词形成更紧凑嵌入空间的观察启发，我们从表示学习的角度应对该挑战。具体而言，我们提出一种频率感知的词元级对比学习方法，其中每个解码步的隐藏状态以基于相应词频的软对比方式被推离其他目标词的对应状态。我们在广泛使用的NIST中英与WMT14英德翻译任务上开展实验。实证结果表明，我们所提方法不仅能显著提升翻译质量，还可增强词汇多样性并优化词表示空间。进一步研究揭示，与相关自适应训练策略相比，我们的方法在低频词预测上的优势在于跨不同频率的词元级召回鲁棒性且不牺牲精度。
引用
@article{arxiv.2112.14484,
title = {Frequency-Aware Contrastive Learning for Neural Machine Translation},
author = {Tong Zhang and Wei Ye and Baosong Yang and Long Zhang and Xingzhang Ren and Dayiheng Liu and Jinan Sun and Shikun Zhang and Haibo Zhang and Wen Zhao},
journal= {arXiv preprint arXiv:2112.14484},
year = {2021}
}
备注
Published at AAAI 2022