通过权重空间模型合并抵消大型语言模型对指令遵循能力的灾难性遗忘
计算与语言
2026-04-03 v1 人工智能
摘要
大型语言模型已被采纳用于医学临床文档，以减少医生负担。然而，研究报道称 LLM 在使用任务特定医学数据集微调后会'遗忘'大量指令遵循能力，这是将通用 LLM 应用于临床应用的关键挑战。本研究提出了一种模型合并框架，通过抵消这一遗忘问题来高效地将通用 LLM 适配至医学领域。通过对临床基础模型（GatorTronLlama）与通用指令模型（Llama-3.1-8B-Instruct）进行插值式合并，我们寻求推导出在临床任务上性能卓越且保留指令遵循能力的领域适配模型。广泛的医学基准测试和五项临床生成任务（如放射科和出院概述总结）的全面评估表明，合并模型能够有效缓解灾难性遗忘，保持临床领域专长，同时保留指令遵循能力。此外，我们的模型合并策略显示出训练效率，在严受限监督下（如 64-shot vs. 256-shot）即可达到与完全微调基线相当的性能。因此，权重空间合并构成了高度可扩展的解决方案，用于将开源 LLM 应用于临床应用，促进资源受限的医疗环境中的更广泛部署。
引用
@article{arxiv.2604.01538,
title = {Countering Catastrophic Forgetting of Large Language Models for Better Instruction Following via Weight-Space Model Merging},
author = {Mengxian Lyu and Cheng Peng and Ziyi Chen and Mengyuan Zhang and Jieting Li Lu and Yonghui Wu},
journal= {arXiv preprint arXiv:2604.01538},
year = {2026}
}