具有动态检索的高效k近邻机器翻译

为了实现非参数NMT领域自适应，$k$近邻机器翻译（$k$NN-MT）构建了一个外部数据存储来存储特定领域的翻译知识，该数据存储通过线性插值系数$\lambda$推导出一个$k$NN分布来插值NMT模型的预测分布。尽管取得了成功，但每个时间步的$k$NN检索导致了大量的时间开销。为了解决这个问题，主流研究采用具有自适应检索的$k$NN-MT（$k$NN-MT-AR），它动态估计$\lambda$，并在$\lambda$小于固定阈值时跳过$k$NN检索。不幸的是，$k$NN-MT-AR并未产生令人满意的结果。在本文中，我们首先进行了一项初步研究，揭示了$k$NN-MT-AR的两个关键局限性：1）优化差距导致对用于确定是否跳过$k$NN检索的$\lambda$的估计不准确，2）使用固定阈值无法适应不同时间步对$k$NN检索的动态需求。为了缓解这些局限性，我们随后提出了具有动态检索的$k$NN-MT（$k$NN-MT-DR），它在两个方面显著扩展了原始的$k$NN-MT。首先，我们为$k$NN-MT配备了一个基于MLP的分类器，用于确定在每个时间步是否跳过$k$NN检索。特别地，我们探索了几个精心设计的标量特征，以充分发挥分类器的潜力。其次，我们提出了一种时间步感知的阈值调整方法，以动态生成阈值，这进一步提高了我们模型的效率。在广泛使用的数据集上的实验结果证明了我们模型的有效性和通用性。\footnote{我们的代码可在 \url{https://github.com/DeepLearnXMU/knn-mt-dr} 获取。}