迈向鲁棒的 k 近邻机器翻译
计算与语言
2022-10-18 v1
摘要
k 近邻机器翻译（kNN-MT）近年来成为神经机器翻译（NMT）的重要研究方向。其主要思想是从额外的数据存储中检索有用的键值对以修改翻译，而无需更新 NMT 模型。然而，底层检索到的噪声对会急剧恶化模型性能。本文开展初步研究并发现该问题源于未充分利用 NMT 模型的预测。为减轻噪声影响，我们提出一种带鲁棒训练的置信度增强 kNN-MT 模型。具体而言，我们引入 NMT 置信度来精炼 kNN-MT 两个重要组件——kNN 分布与插值权重的建模。同时，我们向检索到的对中注入两类扰动以进行鲁棒训练。在四个基准数据集上的实验结果表明，我们的模型不仅相比当前 kNN-MT 模型取得显著提升，还展现出更好的鲁棒性。我们的代码发布于 https://github.com/DeepLearnXMU/Robust-knn-mt。
引用
@article{arxiv.2210.08808,
title = {Towards Robust k-Nearest-Neighbor Machine Translation},
author = {Hui Jiang and Ziyao Lu and Fandong Meng and Chulun Zhou and Jie Zhou and Degen Huang and Jinsong Su},
journal= {arXiv preprint arXiv:2210.08808},
year = {2022}
}
备注
Accepted to EMNLP 2022