角色提示引导的大语言模型领域自适应与通用能力保持
计算与语言
2024-03-06 v1
摘要
大型语言模型（LLMs）在专用应用中的兴趣日益增长，同时也揭示了一个重大挑战：当针对特定领域进行定制时，LLMs 往往会出现灾难性遗忘，损害其通用能力并导致用户体验不佳。此外，同时为多个领域构建通用模型通常会因领域间的混淆而导致整体性能下降。针对这些问题，我们提出了角色提示引导的多领域自适应（REGA）策略。这一新颖方法通过三个关键组件有效管理多领域 LLM 自适应：1) 自蒸馏（Self-Distillation）构建并重放通用领域示例，以缓解灾难性遗忘。2) 角色提示（Role Prompting）为通用领域分配一个中心提示，并为每个特定领域分配独特的角色提示，以最小化训练期间的领域间混淆。3) 角色集成（Role Integration）复用并将少量领域特定数据整合到通用领域数据中，这些数据在中心提示的指导下进行训练。中心提示用于简化的推理过程，消除了为不同领域切换提示的必要性。实证结果表明，REGA 有效缓解了灾难性遗忘和领域间混淆。这使得与标准微调模型相比，领域特定性能得到提升，同时仍保持了强大的通用能力。
引用
@article{arxiv.2403.02756,
title = {Role Prompting Guided Domain Adaptation with General Capability Preserve for Large Language Models},
author = {Rui Wang and Fei Mi and Yi Chen and Boyang Xue and Hongru Wang and Qi Zhu and Kam-Fai Wong and Ruifeng Xu},
journal= {arXiv preprint arXiv:2403.02756},
year = {2024}
}