基于动态低秩适配的参数高效持续学习
机器学习
2026-01-27 v4 计算机视觉与模式识别
摘要
灾难性遗忘一直是深度神经网络在持续学习(CL)中面临的关键挑战，因为它会在学习新任务时破坏已集中知识。参数高效微调CL技术正因其在保持预训练模型中已集中知识完整性的同时，采用轻量级训练方案而受到青睐。然而，这些方法中的低秩适配器(LoRA)对秩选择高度敏感，可能导致资源分配次优和性能不足。为此，我们引入PEARL——一个包含持续学习框架，利用动态秩分配对LoRA组件进行适应性调整。具体而言，PEARL利用参考任务权重，并根据当前任务在参数空间中对参考任务权重的接近程度，自适应确定任务特定LoRA组件的秩。为展示PEARL的通用性，我们在三个视觉架构(RNN、可分离卷积网络和视觉Transformer)上进行评估，并测试了多种CL场景，结果表明PEARL在所有考虑的基线方法上均取得显著优势。
引用
@article{arxiv.2505.11998,
title = {Parameter Efficient Continual Learning with Dynamic Low-Rank Adaptation},
author = {Prashant Shivaram Bhat and Shakib Yazdani and Elahe Arani and Bahram Zonooz},
journal= {arXiv preprint arXiv:2505.11998},
year = {2026}
}
备注
27 pages, 5 figures