基于预训练语言模型的机器翻译自适应少样本提示
计算与语言
2025-01-06 v1 人工智能
摘要
最近，具有上下文学习能力的 Large language models (LLMs) 在处理神经机器翻译方面展现出了显著潜力。然而，现有证据表明 LLMs 对提示敏感，将固定提示应用于任何输入对于下游机器翻译任务是次优的。为了解决这个问题，我们提出了一个自适应少样本提示 (AFSP) 框架，为各种源输入句子自动选择合适的翻译示例，以进一步激发 LLM 的翻译能力，从而获得更好的机器翻译效果。首先，我们基于 LLM 的嵌入构建了一个翻译示例检索模块，从对齐的平行翻译语料库中检索前 k 个语义相似的翻译示例。我们不使用其他嵌入模型进行语义示例检索，而是基于所部署 LLM 的嵌入层构建了一个混合示例检索模块，以构建更好的输入表示，从而检索到更多语义相关的翻译示例。然后，为了确保源输入和目标输出之间更好的语义一致性，我们强制所部署的 LLM 本身在翻译示例的帮助下生成目标语言的多个输出候选，并对这些候选进行重排序。此外，为了更好地评估我们 AFSP 框架在最新语言上的有效性并拓展神经机器翻译的研究边界，我们构建了一个高质量的外交汉英平行数据集，包含 5,528 个汉英平行句子。最后，在所提出的外交汉英平行数据集和联合国平行语料库（汉英部分）上的大量实验表明了我们提出的 AFSP 的有效性和优越性。
引用
@article{arxiv.2501.01679,
title = {Adaptive Few-shot Prompting for Machine Translation with Pre-trained Language Models},
author = {Lei Tang and Jinghui Qin and Wenxuan Ye and Hao Tan and Zhijing Yang},
journal= {arXiv preprint arXiv:2501.01679},
year = {2025}
}
备注
published to AAAI2025