应对神经机器翻译在输入扰动下的脆弱性
计算与语言
2021-04-21 v1
摘要
神经机器翻译（NMT）在性能上取得了显著突破，但已知其易受输入扰动的影响。由于训练期间难以预测真实的输入噪声，鲁棒性成为系统部署的一大问题。本文中，我们通过一种上下文增强重构（Context-Enhanced Reconstruction, CER）方法降低噪声词的影响，从而提升 NMT 模型的鲁棒性。CER 分两步训练模型以抵抗噪声：（1）扰动步骤，使用虚构词破坏输入序列的自然性；（2）重构步骤，通过生成更好且更鲁棒的上下文表示来防御噪声传播。在汉英（ZH-EN）和法英（FR-EN）翻译任务上的实验结果表明，该方法在新闻和社交媒体文本上均提升了鲁棒性。在社交媒体文本上的进一步微调实验显示，我们的方法能收敛到更高位置并提供更好的自适应。
引用
@article{arxiv.2104.09810,
title = {Addressing the Vulnerability of NMT in Input Perturbations},
author = {Weiwen Xu and Ai Ti Aw and Yang Ding and Kui Wu and Shafiq Joty},
journal= {arXiv preprint arXiv:2104.09810},
year = {2021}
}
备注
Accepted by NAACL 2021 Industry Track