Online-LoRA：基于低秩自适应的无任务在线持续学习
计算机视觉与模式识别
2024-11-11 v1 机器学习
摘要
灾难性遗忘是在线持续学习（OCL）中的一个重大挑战，尤其是在没有明确定义任务边界的非平稳数据流中。重放缓冲区固有的内存限制和隐私问题加剧了这一挑战。为了解决灾难性遗忘，本文引入了Online-LoRA，一种用于无任务OCL的新颖框架。Online-LoRA允许实时微调预训练的视觉Transformer（ViT）模型，以解决重放缓冲区的局限性并利用预训练模型的性能优势。作为主要贡献，我们的方法采用了一种新颖的在线权重正则化策略来识别和巩固重要的模型参数。此外，Online-LoRA利用损失值的训练动态来实现数据分布偏移的自动识别。在众多无任务OCL场景和基准数据集（包括CIFAR-100、ImageNet-R、ImageNet-S、CUB-200和CORe50）上进行的大量实验表明，Online-LoRA可以稳健地适应各种ViT架构，同时实现优于最先进方法的性能。我们的代码将在 https://github.com/Christina200/Online-LoRA-official.git 公开提供。
关键词
引用
@article{arxiv.2411.05663,
title = {Online-LoRA: Task-free Online Continual Learning via Low Rank Adaptation},
author = {Xiwen Wei and Guihong Li and Radu Marculescu},
journal= {arXiv preprint arXiv:2411.05663},
year = {2024}
}
备注
WACV 2025