简单且可扩展的近邻神经机器翻译
计算与语言
2023-02-24 v1
摘要
NN-MT 是一种直接而强大的快速领域自适应方法，它将预训练的神经机器翻译（NMT）模型与领域特定的词元级 近邻（NN）检索直接结合，以无需重训练的方式实现领域自适应。尽管在概念上颇具吸引力，NN-MT 仍背负着巨大的存储需求与高计算复杂度，因为它在整个参考语料库上进行近邻搜索。本文中，我们提出一种简单且可扩展的近邻机器翻译框架，在保持翻译性能的同时大幅提升 NN 类模型的解码与存储效率。为此，我们通过句子级检索为每个输入动态构建一个极小的数据存储，以避免在原始 NN-MT 中搜索整个数据存储，并进一步引入距离感知适配器，将 NN 检索结果自适应地整合进预训练 NMT 模型。在两种通用设定（静态领域自适应与在线学习）下的机器翻译实验表明，我们所提方法不仅达到近乎无性能损失的 NMT 模型 90% 速度，还显著降低了 NN-MT 的存储需求。
引用
@article{arxiv.2302.12188,
title = {Simple and Scalable Nearest Neighbor Machine Translation},
author = {Yuhan Dai and Zhirui Zhang and Qiuzhi Liu and Qu Cui and Weihua Li and Yichao Du and Tong Xu},
journal= {arXiv preprint arXiv:2302.12188},
year = {2023}
}
备注
ICLR 2023