通过源屏蔽更新缓解大语言模型目标语言适配中的灾难性遗忘
计算与语言
2026-04-16 v2 人工智能
摘要
扩展指令大语言模型（LLMs）的语言多样性对全球可及性至关重要，但常常受到对昂贵的专用目标语言标注数据的依赖以及适配过程中灾难性遗忘的阻碍。我们在现实的低资源约束下应对这一挑战：仅使用无标注的目标语言数据来适配指令LLMs。我们提出源屏蔽更新（SSU），一种选择性参数更新策略，主动保护源知识。利用少量源数据和参数重要性评分方法，SSU识别出对维持源能力至关重要的参数。然后在适配之前对这些参数应用逐列冻结策略以保护它们。在五种类型学上不同的语言和7B与13B模型上的实验表明，SSU成功缓解了灾难性遗忘。它将单语源任务上的性能退化降至仅3.4%（7B）和2.8%（13B），与完整微调的20.3%和22.3%形成鲜明对比。SSU在目标语言性能上也与完整微调高度竞争，在所有基准上优于完整微调（7B模型），在大多数基准上优于完整微调（13B模型）。
引用
@article{arxiv.2512.04844,
title = {Mitigating Catastrophic Forgetting in Target Language Adaptation of LLMs via Source-Shielded Updates},
author = {Atsuki Yamaguchi and Terufumi Morishita and Aline Villavicencio and Nikolaos Aletras},
journal= {arXiv preprint arXiv:2512.04844},
year = {2026}
}
备注
Accepted to ACL 2026 Main Conference