sPhinX：通过 N-shot 引导式提示实现样本高效的多语言指令微调
计算与语言
2025-06-23 v4
摘要
尽管大型语言模型（LLM）在英语方面取得了显著的成功，但在非英语语言中仍存在显著的性能差距。为此，我们提出一种新方法，用于战略性地构建多语言合成指令调谋数据集 sPhinX。不同于先前直接翻译固定指令-响应对的方法，sPhinX 通过选择性地将英语指令-响应对进行多语言翻译来增强多样性。此外，我们提出了 LANGIT（一种 N-shot 引导式微调策略），通过在每个训练样本中包含与上下文相关的示例进一步提升模型性能。我们的消融研究表明，我们的方法在 Mistral-7B 和 Phi-3-Small 上提升了其多语言能力，分别在推理、问答、阅读理解和机器翻译等多语言基准测试中平均提高了39.8%和11.2%。此外，sPhinX 在英语 LLM 基准测试中保持了强大的性能，甚至在训练 51 种语言时也表现出最小甚至没有灾难性遗忘。
引用
@article{arxiv.2407.09879,
title = {sPhinX: Sample Efficient Multilingual Instruction Fine-Tuning Through N-shot Guided Prompting},
author = {Sanchit Ahuja and Kumar Tanmay and Hardik Hansrajbhai Chauhan and Barun Patra and Kriti Aggarwal and Luciano Del Corro and Arindam Mitra and Tejas Indulal Dhamecha and Ahmed Awadallah and Monojit Choudhary and Vishrav Chaudhary and Sunayana Sitaram},
journal= {arXiv preprint arXiv:2407.09879},
year = {2025}
}
备注
20 pages, 12 tables, 5 figures