弥合 k 近邻神经机器翻译中上下文表示的领域鸿沟
计算与语言
2023-05-29 v1
摘要
近邻机器翻译（NN-MT）因其非参数化适应新翻译领域的能力而受到越来越多的关注。通过使用上游 NMT 模型遍历下游训练语料，它配备了一个包含向量化键值对的数据存储，在推理时检索这些键值对以裨益翻译。然而，上游与下游领域之间常存在显著鸿沟，损害了检索精度与最终翻译质量。为处理该问题，我们提出一种新方法，通过重建原始数据存储来提升 NN-MT 的数据存储检索。具体而言，我们设计了一个修正器来修正键表示，使其更契合下游领域。该修正器使用收集到的语义相关键-查询对训练，并通过两个提出的损失优化：其一为键-查询语义距离，确保每条修正后的键表示与其对应查询语义相关；其二为 L2 范数损失，促使修正后的键表示有效保留上游 NMT 模型学到的知识。在领域自适应任务上的大量实验表明，我们的方法能有效提升 NN-MT 的数据存储检索与翻译质量。\footnote{我们的代码见 \url{https://github.com/DeepLearnXMU/RevisedKey-knn-mt}。}
引用
@article{arxiv.2305.16599,
title = {Bridging the Domain Gaps in Context Representations for k-Nearest Neighbor Neural Machine Translation},
author = {Zhiwei Cao and Baosong Yang and Huan Lin and Suhang Wu and Xiangpeng Wei and Dayiheng Liu and Jun Xie and Min Zhang and Jinsong Su},
journal= {arXiv preprint arXiv:2305.16599},
year = {2023}
}
备注
Accepted to ACL 2023