通过语言感知指令微调构建精准的翻译定制大语言模型
计算与语言
2024-03-22 v1 人工智能
摘要
翻译定制的大语言模型（LLMs）展现出卓越的翻译能力，甚至可与监督训练的商用翻译系统相媲美。然而，偏离目标的翻译仍然是一个未解决的问题，尤其对于低资源语言，阻碍了我们开发基于 LLMs 的精准翻译模型。为缓解偏离目标翻译问题并提升 LLMs 的翻译性能，近期工作要么设计了先进的提示策略以突出翻译指令的功能，要么利用 LLMs 的上下文学习能力，通过提供少样本示例来增强性能。但这些方法本质上并未提升 LLM 遵循翻译指令的能力，特别是语言方向信息。在本工作中，我们设计了一个两阶段微调算法，以提升 LLMs 的指令遵循能力（尤其是翻译方向）。具体而言，我们首先在翻译数据集上使用最大似然估计损失微调 LLMs，以激发其基本翻译能力。在第二阶段，我们通过在指令中随机将翻译方向替换为错误方向来构建指令冲突样本，然后引入额外的非似然损失来学习这些样本。在 LLaMA 模型上跨 16 个零样本方向的 IWSLT 和 WMT 基准测试上的实验表明，与竞争性基线——翻译微调的 LLama 相比，我们的方法能有效降低偏离目标翻译比率（平均 -53.3%），从而提升翻译质量，平均提高 +5.7 SacreBLEU 和 +16.4 BLEURT。分析表明，我们的方法能保持模型在 AlpacaEval 上的通用任务性能。代码和模型将在 \url{https://github.com/alphadl/LanguageAware_Tuning} 发布。
引用
@article{arxiv.2403.14399,
title = {Building Accurate Translation-Tailored LLMs with Language Aware Instruction Tuning},
author = {Changtong Zan and Liang Ding and Li Shen and Yibing Zhen and Weifeng Liu and Dacheng Tao},
journal= {arXiv preprint arXiv:2403.14399},
year = {2024}
}