PLUG：在跨语言指令微调中利用枢纽语言
计算与语言
2024-02-13 v2
摘要
指令微调显著提升了大语言模型（LLM）理解和响应多样化人类指令的能力。尽管在高资源语言中取得成功，但其在低资源语言中的应用面临挑战，原因在于 LLM 跨语言基础能力不平衡，这源于预训练数据中语言分布不均。为应对此问题，我们提出枢纽语言引导生成（PLUG），一种利用高资源语言（主要为英语）作为枢纽以增强低资源语言指令微调的方法。它训练模型先处理枢纽语言中的指令，再生成目标语言响应。为评估该方法，我们引入基准 X-AlpacaEval，含 4 种语言（中文、韩文、意大利文、西班牙文）的指令，每种均由专业译员标注。与仅直接用目标语言响应相比，我们的方法使 LLM 指令遵循能力平均显著提升 29%。进一步实验通过使用英语之外的其他枢纽语言辅助 LLM 能力较弱的语言，验证了方法的通用性。我们的代码与数据见 https://github.com/ytyz1307zzh/PLUG。
引用
@article{arxiv.2311.08711,
title = {PLUG: Leveraging Pivot Language in Cross-Lingual Instruction Tuning},
author = {Zhihan Zhang and Dong-Ho Lee and Yuwei Fang and Wenhao Yu and Mengzhao Jia and Meng Jiang and Francesco Barbieri},
journal= {arXiv preprint arXiv:2311.08711},
year = {2024}
}