面向鲁棒神经机器翻译的对抗子词正则化
计算与语言
2020-10-09 v2
摘要
将多样化的子词切分暴露给神经机器翻译（NMT）模型常能提升机器翻译的鲁棒性，因为 NMT 模型可遇到各种子词候选。然而，子词切分的多样化主要依赖于预训练的子词语言模型，由此未见词的错误切分较少被采样到。本文提出对抗子词正则化（ADVSR），以研究训练期间的梯度信号能否作为暴露多样化子词切分的替代准则。我们通过实验表明，基于模型的对抗样本有效促使 NMT 模型对切分错误不那么敏感，并提升了 NMT 模型在低资源与域外数据集上的表现。
引用
@article{arxiv.2004.14109,
title = {Adversarial Subword Regularization for Robust Neural Machine Translation},
author = {Jungsoo Park and Mujeen Sung and Jinhyuk Lee and Jaewoo Kang},
journal= {arXiv preprint arXiv:2004.14109},
year = {2020}
}
备注
9 pages,1 figure, Findings of EMNLP 2020