InstructAlign：通过持续跨语言指令微调实现高资源与低资源语言对齐
计算与语言
2023-10-25 v2 人工智能
摘要
经指令微调的大语言模型（LLMs）已在多种任务和语言中展现出卓越能力。然而，由于可用数据稀缺，它们对低资源语言的泛化能力有限。此外，直接将新语言适配到指令微调的 LLM 可能导致灾难性遗忘，从而丧失多任务能力。为解决此问题，我们提出 InstructAlign，其使用持续跨语言指令微调使 LLM 将新的未见语言与先前学习的高资源语言对齐。我们的结果证明了 InstructAlign 在有限平行数据下使模型理解低资源语言的同时防止灾难性遗忘的有效性。我们的工作推进了语言适配方法的发展，特别是针对将指令微调 LLM 适配到低资源语言。我们的代码发布于 https://github.com/HLTCHKUST/InstructAlign
引用
@article{arxiv.2305.13627,
title = {InstructAlign: High-and-Low Resource Language Alignment via Continual Crosslingual Instruction Tuning},
author = {Samuel Cahyawijaya and Holy Lovenia and Tiezheng Yu and Willy Chung and Pascale Fung},
journal= {arXiv preprint arXiv:2305.13627},
year = {2023}
}