面向少样本增量学习的连续知识保持分解：自适应层选择机制
计算机视觉与模式识别
2025-08-25 v3
摘要
少样本增量学习（FSCIL）面临的核心挑战是：在获取新类别的同时保持对先前知识的保留。现有方法要么冻结主干网络以防止灾难性遗忘，牺牲了塑性；要么添加新模块，造成高昂成本。这些方法将预训练模型视为黑盒，忽视了两个关键机会：在层内部重用冗余表征空间和基于其对遗忘的敏感性选择性地调整层。我们提出CKPD-FSCIL，一个统一框架，解锁预训练权重的未被充分利用的容量，在零推理开销下实现更佳的稳定性-塑性平衡。我们的设计集成了两个持续适应机制：在权重层面，连续知识保持分解机制（Continuous Knowledge-Preserving Decomposition）利用特征协方差将每个权矩阵分为一个保护先前知识的冻结子空间和一个用于新任务的可学习、冗余子空间。在层面，连续自适应层选择机制（Continuous Adaptive Layer Selection）利用适配器敏感性比率（Adapter Sensitivity Ratio）自动选择具有最高冗余容量和最低遗忘风险的层进行适应。通过仅针对安全、高潜力的子空间和层进行目标化，CKPD-FSCIL实现了高效适应。每次会话后，学习的适配器会被合并回原始权重，确保推理期间无额外参数或FLOPs。广泛的FSCIL基准实验表明，我们的方法在适应性和知识保留方面 consistently优于最先进的方法。代码已公开于https://github.com/xiaojieli0903/CKPD-FSCIL。
引用
@article{arxiv.2501.05017,
title = {Continuous Knowledge-Preserving Decomposition with Adaptive Layer Selection for Few-Shot Class-Incremental Learning},
author = {Xiaojie Li and Jianlong Wu and Yue Yu and Liqiang Nie and Min Zhang},
journal= {arXiv preprint arXiv:2501.05017},
year = {2025}
}
备注
Code: https://github.com/xiaojieli0903/CKPD-FSCIL