LinguaLIFT：面向低资源语言推理的有效两阶段指令微调框架
计算与语言
2025-02-18 v2 人工智能
摘要
大语言模型（LLM）在广泛的多语言预训练语料库和指令微调数据的驱动下，展现出了令人印象深刻的多语言推理能力。然而，由于预训练语料库中的语言不平衡，高资源与低资源语言推理任务之间存在性能差距，而现有推理基准中缺乏低资源语言覆盖的评估偏差又加剧了这一问题。为了缓解这一问题，我们提出了 LinguaLIFT，一个用于推进低资源语言推理的两阶段指令微调框架。LinguaLIFT 采用语言对齐层，以语码转换微调的方式捕获多语言对齐，无需多语言指令或平行数据，从而通过纯英文指令微调数据将跨语言推理能力迁移到低资源语言。为了全面评估多语言推理能力，我们引入了多语言数学应用题（MMWP）基准，涵盖 21 种低资源、17 种中等资源和 10 种高资源语言。实验结果表明，LinguaLIFT 在 MMWP 和四个广泛使用的基准上均优于多个具有竞争力的基线。
引用
@article{arxiv.2412.12499,
title = {LinguaLIFT: An Effective Two-stage Instruction Tuning Framework for Low-Resource Language Reasoning},
author = {Hongbin Zhang and Kehai Chen and Xuefeng Bai and Yang Xiang and Min Zhang},
journal= {arXiv preprint arXiv:2412.12499},
year = {2025}
}