角度离散度加速k-最近邻机器翻译
计算与语言
2025-09-23 v1 机器学习
摘要
在解码时以k-最近邻机器翻译（-NN MT）的形式用外部记忆增强神经机器翻译，是一种提高翻译性能的成熟策略。-NN MT使用翻译上下文的隐藏状态表示作为向量查找键，从准备好的数据存储中检索一组在相似上下文中出现过的词元。该方法的主要缺点之一是计算成本和内存需求高。由于在大规模数据存储中进行穷举搜索不可行，实践者通常使用近似-NN MT查找，但即使这样的算法也是一个瓶颈。与寻求通过减少数据存储大小或查找调用次数来加速-NN MT的研究方向不同，我们基于近似-NN MT查找数据结构的性能特性，追求一个正交的方向。特别是，我们提出鼓励上下文神经隐藏表示的角度离散度。我们证明，改善离散度可以改善检索数据结构的平衡性，从而加速检索并略微改善翻译质量。
引用
@article{arxiv.2509.16729,
title = {Angular Dispersion Accelerates $k$-Nearest Neighbors Machine Translation},
author = {Evgeniia Tokarchuk and Sergey Troshin and Vlad Niculae},
journal= {arXiv preprint arXiv:2509.16729},
year = {2025}
}