面向最近邻神经机器翻译的解耦检索表示学习
计算与语言
2023-09-20 v3
摘要
K 近邻神经机器翻译（kNN-MT）通过在测试时检索词级表示成功融合了外部语料库。一般而言，kNN-MT 借用翻译任务中现成的上下文表示（例如最后解码器层的输出）作为检索任务的查询向量。在本文中，我们指出耦合这两个任务的表示对于细粒度检索是次优的。为缓解该问题，我们利用监督对比学习从原始上下文表示中学习具有区分性的检索表示。我们还提出了一种快速且有效的难负样本构建方法。在五个领域上的实验结果表明，与原始 kNN-MT 相比，我们的方法提高了检索准确率和 BLEU 分数。
引用
@article{arxiv.2209.08738,
title = {Learning Decoupled Retrieval Representation for Nearest Neighbour Neural Machine Translation},
author = {Qiang Wang and Rongxiang Weng and Ming Chen},
journal= {arXiv preprint arXiv:2209.08738},
year = {2023}
}
备注
Accepted by COLING 2022