关于神经机器翻译模型的指令微调
计算与语言
2024-10-10 v1 人工智能
摘要
在这项工作中，我们引入了针对神经机器翻译（NMT）模型的指令微调，该方法将大型语言模型（LLM）的指令遵循能力蒸馏到规模小数个数量级的NMT模型中。我们针对NMT模型的指令微调方案能够为一组有限但不同的翻译特定任务定制翻译。我们展示了NMT模型能够同时遵循多个指令，并展示了指令的零样本组合能力。我们还表明，通过指令微调，传统上不同的任务，如形式控制机器翻译、多领域适应以及多模态翻译，可以由一个单一的指令微调NMT模型联合处理，其性能水平可与GPT-3.5-Turbo等LLM相媲美。据我们所知，我们的工作是首批展示传统NMT模型指令遵循能力的工作之一，这使得定制翻译的服务更快、更便宜且更高效。
引用
@article{arxiv.2410.05553,
title = {On Instruction-Finetuning Neural Machine Translation Models},
author = {Vikas Raunak and Roman Grundkiewicz and Marcin Junczys-Dowmunt},
journal= {arXiv preprint arXiv:2410.05553},
year = {2024}
}
备注
WMT'24