用于域递增学习的持续知识Consolidation LORA
机器学习
2025-10-21 v1 人工智能
摘要
域递增学习（DIL）是旨在解决新域持续到达且无灾难性遗忘问题的持续学习子分支。尽管参数高效微调（PEFT）方法已取得进展，但现有工作创建任务特定的 LoRA，忽略了跨任务的共享知识。在推理期间不准确选择任务特定 LoRA 会导致显著的准确率下降，而现有方法依赖线性或原型基分类器，泛化能力有限。本文提出了持续知识Consolidation低秩适应（CONEC-LoRA），以解决 DIL 问题。CONEC-LoRA 由任务共享 LoRA 之间的Consolidation提取 common knowledge 以及任务特定 LoRA 融合 domain-specific knowledge 而开发而成。与现有方法不同，CONEC-LoRA 集成了随机分类器的概念，其参数从分布中采样，从而增强正确分类的可能性。最后，部署一个辅助网络来最优预测推理时的任务特定 LoRA，并实现每层与局部分类器相连以利用中间表示的不同深度网络结构。该模块集成了球生成器损失和转换模块，以解决合成样本偏差问题。我们的严格实验表明，CONEC-LoRA 在 4 个热门基准问题上超过先前方法，优势超过 5%。
引用
@article{arxiv.2510.16077,
title = {Continual Knowledge Consolidation LORA for Domain Incremental Learning},
author = {Naeem Paeedeh and Mahardhika Pratama and Weiping Ding and Jimmy Cao and Wolfgang Mayer and Ryszard Kowalczyk},
journal= {arXiv preprint arXiv:2510.16077},
year = {2025}
}