基于分块的近邻机器翻译
计算与语言
2022-11-08 v2
摘要
半参数模型通过检索增强生成，由于在从示例数据存储中检索细粒度信息的能力，已在语言建模和机器翻译中取得令人印象深刻的成果。其中最突出的方法之一，NN-MT，通过从特定领域数据存储中检索令牌展现出强大的领域适应能力 \citep{khandelwal2020nearest}。然而，NN-MT对每个生成的令牌都需要昂贵的检索操作，导致解码速度非常低（比参数模型慢约8倍）。在本文中，我们引入了基于分块的NN-MT模型，该模型从数据存储中检索令牌分块，而非单个令牌。我们提出了若干策略，用于将检索到的分块整合到生成过程中，以及选择模型需要在数据存储中搜索近邻的步骤。在静态和“即时”领域适应两种设置下的机器翻译实验表明，基于分块的NN-MT模型实现了显著加速（最高4倍），且仅带来微小的翻译质量下降。
引用
@article{arxiv.2205.12230,
title = {Chunk-based Nearest Neighbor Machine Translation},
author = {Pedro Henrique Martins and Zita Marinho and André F. T. Martins},
journal= {arXiv preprint arXiv:2205.12230},
year = {2022}
}