探究多语言指令微调：多语模型是否需要多语言指令？
计算与语言
2024-10-11 v3
摘要
将多语言预训练 LLM 适配为雄辩且有用的助手，对于促进它们在不同语言地区的使用至关重要。本着这一精神，我们首次进行了广泛的研究，考察了在不同语言组成上进行指令微调的多语言模型在最广泛使用的印欧语言子集上的平行指令微调基准的性能。我们通过在平行指令微调数据集上对中型和大型多语言 LLM 进行指令微调，系统地检验了语言和指令数据集大小的影响。我们的结果表明，在平行语料库而非单语语料库上进行指令微调，可使跨语言指令遵循能力提升高达 9.9%。此外，我们表明 Superficial Alignment Hypothesis 并不普遍成立，因为所考察的多语言 7B 参数模型呈现了一个反例，需要大规模的指令微调数据集。最后，我们进行了人类标注研究，以了解多语言聊天场景中基于人类和基于 GPT-4 的评估之间的一致性。
引用
@article{arxiv.2402.13703,
title = {Investigating Multilingual Instruction-Tuning: Do Polyglot Models Demand for Multilingual Instructions?},
author = {Alexander Arno Weber and Klaudia Thellmann and Jan Ebert and Nicolas Flores-Herr and Jens Lehmann and Michael Fromm and Mehdi Ali},
journal= {arXiv preprint arXiv:2402.13703},
year = {2024}
}
备注
Accepted for EMNLP 2024 (Main), 27 pages, 8 figures