用自合成回放缓解大语言模型中的灾难性遗忘
计算与语言
2024-05-28 v2 人工智能
摘要
大语言模型(LLMs)在持续学习过程中遭受灾难性遗忘。传统的基于回放的方法依赖先前的训练数据来保持模型能力，这在现实应用中可能不可行。当基于公开发布的LLM检查点进行持续学习时，原始训练数据可能不存在。为了应对这一挑战，我们提出一个称为自合成回放(SSR)的框架，使用LLM生成合成实例用于回放。具体地，我们首先利用基础LLM进行上下文学习以生成合成实例。随后，我们使用最新的LLM基于合成输入细化实例输出，保留其已获得的能力。最后，我们选择多样化的高质量合成实例用于后续阶段的回放。实验结果表明，SSR相比传统的基于回放的方法取得了优越或相当的性能，同时更加数据高效。此外，SSR有效保留了LLM在通用领域的泛化能力。
引用
@article{arxiv.2403.01244,
title = {Mitigating Catastrophic Forgetting in Large Language Models with Self-Synthesized Rehearsal},
author = {Jianheng Huang and Leyang Cui and Ante Wang and Chengyi Yang and Xinting Liao and Linfeng Song and Junfeng Yao and Jinsong Su},
journal= {arXiv preprint arXiv:2403.01244},
year = {2024}
}
备注
ACL 2024 main, long paper