INK：在最近邻神经机器翻译中注入 kNN 知识
计算与语言
2023-06-13 v1
摘要
神经机器翻译已在诸多翻译任务上取得可喜结果。然而，先前研究表明神经模型诱导出非平滑的表示空间，损害其泛化结果。近来，kNN-MT 提供了一种有效范式，在推理时基于邻居表示平滑预测。尽管结果可喜，kNN-MT 通常需要较大的推理开销。我们提出一种有效的训练框架 INK，通过以少量新参数调整 kNN 邻居的表示，直接平滑表示空间。这些新参数随后用于异步刷新整个表示数据存储以获得新的 kNN 知识。该循环持续运行直至收敛。在四个基准数据集上的实验表明，本方法取得平均 1.99 COMET 与 1.0 BLEU 的提升，以 0.02x 内存空间与 1.9x 推理加速优于最先进的 kNN-MT 系统。
引用
@article{arxiv.2306.06381,
title = {INK: Injecting kNN Knowledge in Nearest Neighbor Machine Translation},
author = {Wenhao Zhu and Jingjing Xu and Shujian Huang and Lingpeng Kong and Jiajun Chen},
journal= {arXiv preprint arXiv:2306.06381},
year = {2023}
}
备注
10 pages, ACL-2023