参数碰撞是否阻碍LLM的持续学习？
机器学习
2024-12-25 v2 计算与语言
摘要
大型语言模型(LLM)在顺序学习多个任务时常常出现灾难性遗忘，使得持续学习(CL)对于其动态部署至关重要。现有方法如O-LoRA等通常 focus on构建正交任务以解耦参数在 various domains 之间的相互依赖。在本文中，我们揭示了构建非碰撞参数是更关键的因素，以解决CL挑战。我们的理论和实验分析表明，非碰撞参数能够提供更好的任务正交性，这是充分但非必要的条件。此外，来自多个 domain 的知识将保留在非碰撞参数子空间中，这使得更难忘记之前看到的 data。基于这一洞察，我们提出了非碰撞低秩适应(N-LoRA)，这是一种简单而有效的方法，利用低碰撞率来增强LLM中的CL。在多个CL基准测试上的实验结果表明，N-LoRA在性能上优于SOTA方法提升2.9个百分点，任务正交性提高了4.1倍，参数碰撞降低了58.1倍。
引用
@article{arxiv.2410.10179,
title = {Is Parameter Collision Hindering Continual Learning in LLMs?},
author = {Shuo Yang and Kun-Peng Ning and Yu-Yang Liu and Jia-Yu Yao and Yong-Hong Tian and Yi-Bing Song and Li Yuan},
journal= {arXiv preprint arXiv:2410.10179},
year = {2024}
}