动态正交持续细调：用于缓解灾难性遗忘
机器学习
2025-09-30 v1 人工智能
计算与语言
密码学与安全
最优化与控制
摘要
灾难性遗忘仍是大型语言模型(LLM)持续学习中的关键挑战，在持续细调新顺序数据时，模型在没有访问过去数据集的情况下难以保留对历史任务的性能。本文首先揭示了在细调过程中功能方向漂移是现有基于正则化的方法在长期 LLM 持续学习中失败的关键原因。为此，我们提出了动态正交持续(DOC)细调，这是一种新方法，跟踪这些功能方向的漂移并在细调过程中动态更新它们。进一步，通过调整新任务参数的梯度以与跟踪的历史功能方向正交，Our 方法可消除新旧任务之间的干扰。在 various LLM 持续学习基准上进行的大量实验表明，该方法优于先前方法，有效减少灾难性遗忘，为持续 LLM 细调提供了一个稳健的工具。Our code is available at https://github.com/meloxxxxxx/DOC。
引用
@article{arxiv.2509.23893,
title = {Dynamic Orthogonal Continual Fine-tuning for Mitigating Catastrophic Forgettings},
author = {Zhixin Zhang and Zeming Wei and Meng Sun},
journal= {arXiv preprint arXiv:2509.23893},
year = {2025}
}