共享 LoRA 子空间实现近乎严格的持续学习
机器学习
2026-02-06 v1 人工智能
计算机视觉与模式识别
摘要
高效且持续地将大预训练模型适应到新任务对于实际部署至关重要，但由于灾�性遗忘和高昂的重新训练成本，这仍然是一个具有挑战性的问题。虽然低秩适应（LoRA）等参数高效调优方法降低了计算需求，但它们缺乏严格持续学习和知识整合的机制，无法实现数据回放或多个适配器。我们提出了Share，一种 novel 的参数高效持续微调方法，通过学习和动态更新单个共享低秩子空间，实现跨多个任务和模态的无缝适应。Share构建一个基础子空间，从过去的任务中提取核心知识，并通过识别关键子空间方向来逐步整合新信息。来自每个新任务的知识被集成到这个不断演化的子空间中，以促进前向知识迁移，同时最小化灾难性干扰。该方法在传统 LoRA 方法上实现了最高100倍的参数降低和281倍的内存节省，保持与同时训练模型相当的性能。单个 Share 模型可以取代数百个任务特定的 LoRA 适配器，支持可扩展的、非同步的持续学习。跨图像分类、自然语言理解、3D 姿态估计和文本到图像生成等实验验证了其有效性，使Share成为大规模AI系统中适用于终身学习的实用且可扩展的解决方案。
引用
@article{arxiv.2602.06043,
title = {Shared LoRA Subspaces for almost Strict Continual Learning},
author = {Prakhar Kaushik and Ankit Vaidya and Shravan Chaudhari and Rama Chellappa and Alan Yuille},
journal= {arXiv preprint arXiv:2602.06043},
year = {2026}
}