面向持续学习的自控制动态扩容模型
摘要
持续学习（CL）是一种先进的训练范式，在获取新任务时保持原有数据样本不可访问。众多研究致力于利用预训练的视觉Transformer（ViT）来提升模型在持续学习中的效果。然而，这些方法通常采用单一、静态的主干网络，难以适应新任务，尤其是在面对多样化数据域时，由于大量参数未被激活。本文通过引入创新的自控制动态扩容模型（SCDEM），来解决这一限制。SCDEM协调多个互不相同的可训练预训练ViT主干网络，提供多样且语义丰富的表征。具体而言，通过将多主干架构作为共享模块，所提出的SCDEM能够动态生成一个仅需最小参数的新专家，以适应新任务。我们引入了新颖的协同优化机制（COM），通过利用历史专家的预测信号，协同优化多个主干网络，从而实现新任务学习而不抹去先前获取的知识。此外，本文提出了一种新颖的特征分布一致性（FDC）方法，通过基于最优传输距离的机制，对齐先前学习与当前学习的表征间的语义相似性，有效缓解了负向知识迁移的影响。 Furthermore, to alleviate over-regularization challenges, this paper presents a novel Dynamic Layer-Wise Feature Attention Mechanism (DLWFAM) to autonomously determine the penalization intensity on each trainable representation layer. An extensive series of experiments have been conducted to evaluate the proposed methodology's efficacy, with empirical results corroborating that the approach attains state-of-the-art performance.
关键词
引用
@article{arxiv.2504.10561,
title = {Self-Controlled Dynamic Expansion Model for Continual Learning},
author = {Runqing Wu and Kaihui Huang and Hanyi Zhang and Fei Ye},
journal= {arXiv preprint arXiv:2504.10561},
year = {2025}
}
备注
10 pages, 3 figures, 6 tables, Continual Learning, Cross-Domain Continual Learning, Mixture Model