Bactrian-X：基于低秩适配的多语言可复现指令跟随模型
计算与语言
2023-10-11 v2
摘要
指令微调已展现出提升大语言模型性能的极大潜力。然而，由于跨语言高质量指令-回答数据集的匮乏，多语言指令微调研究受限。为弥补此缺口，我们推出Bactrian-X，一个涵盖52种语言、包含340万指令-回答对的大规模多语言平行数据集。利用该数据集，我们使用低秩适配（LoRA）训练一组适配器，其为可无缝集成于大语言模型的轻量组件。这些适配器参数量远小于基座模型，易于替换并可作为不同语言或语族的插件使用。多种多语言评测环境下的广泛实验表明，基于Bactrian-X的LoRA训练所得模型优于原始模型与现有指令微调模型。代码与模型公开于https://github.com/mbzuai-nlp/bactrian-x
引用
@article{arxiv.2305.15011,
title = {Bactrian-X: Multilingual Replicable Instruction-Following Models with Low-Rank Adaptation},
author = {Haonan Li and Fajri Koto and Minghao Wu and Alham Fikri Aji and Timothy Baldwin},
journal= {arXiv preprint arXiv:2305.15011},
year = {2023}
}