最近邻机器翻译是输出投影层上的元优化器
计算与语言
2023-10-25 v2
摘要
最近邻机器翻译(NN-MT)通过将预训练神经机器翻译(NMT)模型与特定领域的词级检索相结合,在领域自适应任务中取得了巨大成功。然而,其成功背后的原因尚未被深入探究。本文通过理论与实证研究对 NN-MT 进行了全面分析。首先,我们为 NN-MT 的工作机制提供新见解:它是一种在 NMT 输出投影层上隐式执行梯度下降的高效技术,表明它是模型微调的一个特例。随后,我们进行多领域实验和词级分析,以考察 NN-MT 与全模型微调在性能上的差异。我们的发现表明:(1) 将 NN-MT 与适配器结合,在领域内测试集上取得了与微调相当的翻译性能,同时在域外测试集上实现了更优表现;(2) 微调在领域内低频词的召回上显著优于 NN-MT,但这一差距可通过用额外适配器层优化上下文表示来弥合。
引用
@article{arxiv.2305.13034,
title = {Nearest Neighbor Machine Translation is Meta-Optimizer on Output Projection Layer},
author = {Ruize Gao and Zhirui Zhang and Yichao Du and Lemao Liu and Rui Wang},
journal= {arXiv preprint arXiv:2305.13034},
year = {2023}
}
备注
Accepted by EMNLP2023