超越灾难性遗忘：整合通用能力以适用于特定领域的大语言模型
计算与语言
2024-10-03 v2
摘要
大型语言模型(LLM)在针对特定任务进行微调后会在通用任务上的性能下降，这一现象被称为灾难性遗忘(CF)。然而，这篇论文提出了一个对实际应用特定领域 LLM 的进一步挑战，称为通用能力集成(GCI)，这要求在单个实例中集成通用能力和领域知识。GCI 的目标不仅要保留先前获取的通用能力与新的领域知识相结合，更要以一种有机的方式整合并利用这两套技能，以提高特定领域任务的性能。以法律领域为例，我们仔细设计了三组训练和测试任务，确保实用性，并构建了相应的数据集。为了更好地在特定领域场景中融合通用能力，我们引入了 ALoRA，该方法在 LoRA 基础上增加了注意力模块，促进了从前导 token 到当前 token 的直接信息传递。这种增强允许表示在注意力机制的支持下，动态地在领域特定知识和通用能力之间切换。对提出的任务进行了广泛实验。结果显示，我们方法的重要性，以及其有效性。
引用
@article{arxiv.2405.17830,
title = {More Than Catastrophic Forgetting: Integrating General Capabilities For Domain-Specific LLMs},
author = {Chengyuan Liu and Yangyang Kang and Shihang Wang and Lizhi Qing and Fubang Zhao and Changlong Sun and Kun Kuang and Fei Wu},
journal= {arXiv preprint arXiv:2405.17830},
year = {2024}
}
备注
Accepted by EMNLP 2024