问题翻译训练在多语言推理中的效力：拓展范围与深化洞察
计算与语言
2024-11-07 v3
摘要
弥合大型语言模型在英语与非英语性能之间的显著差距是一项巨大挑战。尽管先前的一些研究试图通过翻译训练数据来缓解这一差距，但最近提出的问题对齐框架利用模型的英语专长，以最少使用昂贵且易出错的翻译来提升多语言性能。在本文中，我们通过考察该方法在有无思维链以及思维程序推理中的效果，探索其适用范围的广度。我们还探索以高效方式将该框架应用于极大型语言模型，例如通过代理微调。在多语言推理基准 mGSM、mSVAMP、xCSQA 和 xNLI 上的实验结果表明，我们可以扩展问题对齐框架，以在多样化的推理场景、模型家族和规模中提升多语言性能。例如，当应用于 LLaMA2 模型时，即使在 70B 模型上，它也在 mGSM 上带来了 12.2% 的平均准确率提升。为了理解其成功机制，我们分析了表示空间、生成响应和数据规模，并揭示了问题翻译训练如何增强 LLM 内部的语言对齐并塑造其工作模式。
引用
@article{arxiv.2405.01345,
title = {The Power of Question Translation Training in Multilingual Reasoning: Broadened Scope and Deepened Insights},
author = {Wenhao Zhu and Shujian Huang and Fei Yuan and Cheng Chen and Jiajun Chen and Alexandra Birch},
journal= {arXiv preprint arXiv:2405.01345},
year = {2024}
}