更优数据存储，更优翻译：从预训练模型生成最近邻神经机器翻译的数据存储
计算与语言
2022-12-20 v1
摘要
最近邻神经机器翻译（kNNMT）是一种简单而有效的方法，通过词元级最近邻检索机制增强神经机器翻译（NMT）。kNNMT的有效性直接取决于所检索邻居的质量。然而，原始kNNMT基于NMT模型的表示构建数据存储，当NMT模型不够好时会导致检索精度低下，从而造成次优的翻译性能。本文中，我们提出PRED，一种在kNN-MT中利用预训练模型构建数据存储的框架。预训练模型更好的表示使我们能够构建更高质量的数据存储。我们还设计了一种新颖的对比对齐目标，以缓解NMT模型与预训练模型之间的表示差距，使NMT模型能从更好的数据存储中检索。我们在双语与多语翻译基准上进行了广泛实验，包括WMT17英中、WMT14英德、IWSLT14德英以及IWSLT14多语言数据集。实证结果证明了PRED的有效性。
引用
@article{arxiv.2212.08822,
title = {Better Datastore, Better Translation: Generating Datastores from Pre-Trained Models for Nearest Neural Machine Translation},
author = {Jiahuan Li and Shanbo Cheng and Zewei Sun and Mingxuan Wang and Shujian Huang},
journal= {arXiv preprint arXiv:2212.08822},
year = {2022}
}