面向神经机器翻译的非参数无监督域适应
计算与语言
2022-05-26 v2 人工智能
机器学习
摘要
近来，NN-MT 展示了直接将预训练神经机器翻译（NMT）模型与特定领域词级 近邻（NN）检索相结合、无需重训练即可实现域适应的良好能力。尽管在概念上颇具吸引力，它严重依赖高质量领域内平行语料，限制了其在无监督域适应上的能力，而此类场景下领域内平行语料稀缺或不存在。本文提出一种新颖框架，直接利用目标语言中的领域内单语句子构建用于 近邻检索的有效数据存储。为此，我们首先引入基于目标语言的自动编码任务，随后向原始 NMT 模型中插入轻量适配器，将该任务的词级表示映射到翻译任务的理想表示。在多领域数据集上的实验表明，所提方法利用目标端单语数据显著提升了翻译准确率，同时取得了与回译相当的性能。
引用
@article{arxiv.2109.06604,
title = {Non-Parametric Unsupervised Domain Adaptation for Neural Machine Translation},
author = {Xin Zheng and Zhirui Zhang and Shujian Huang and Boxing Chen and Jun Xie and Weihua Luo and Jiajun Chen},
journal= {arXiv preprint arXiv:2109.06604},
year = {2022}
}
备注
Findings of EMNLP 2021