更快速的近邻神经机器翻译
计算与语言
2021-12-16 v1
摘要
基于 NN 的神经机器翻译（NN-MT）在多种 MT 任务上取得了最先进的结果。NN-MT 的一个显著缺陷在于其从整个数据存储中识别查询表示的 个最近邻的效率低下，当数据存储规模较大时耗时严重。在本工作中，我们提出 \textbf{Faster NN-MT} 来解决该问题。Faster NN-MT 的核心思想是使用层次聚类策略来近似查询与数据存储中数据点之间的距离，该距离被分解为两部分：查询与数据点所属簇中心之间的距离，以及数据点与簇中心之间的距离。我们提出了以显著更快方式计算这两部分的实际方法。通过在不同的 MT 基准上进行大量实验，我们表明 \textbf{Faster NN-MT} 比 Fast NN-MT \citep{meng2021fast} 更快，且仅比其原始版本稍慢（1.2 倍），同时保持与 NN-MT 相同的模型性能。Faster NN-MT 使得 NN-MT 模型能够部署在真实世界的 MT 服务上。
引用
@article{arxiv.2112.08152,
title = {Faster Nearest Neighbor Machine Translation},
author = {Shuhe Wang and Jiwei Li and Yuxian Meng and Rongbin Ouyang and Guoyin Wang and Xiaoya Li and Tianwei Zhang and Shi Zong},
journal= {arXiv preprint arXiv:2112.08152},
year = {2021}
}