REAL：面向无样本类增量学习的表征增强分析学习
机器学习
2025-12-18 v3 计算机视觉与模式识别
摘要
无样本类增量学习（EFCIL）旨在缓解类增量学习（CIL）中的灾难性遗忘，且无需使用历史训练样本作为范例。与存储范例的基于样本的 CIL 方法相比，EFCIL 遭受更严重的遗忘问题。最近，一个名为分析持续学习（ACL）的新 EFCIL 分支通过递归最小二乘法引入了一种无梯度范式，在 CIL 过程中使用冻结的主干网络实现了抗遗忘的分类器训练。然而，现有的 ACL 存在表征效果不佳和主干知识利用不足的问题。在本文中，我们提出了表征增强分析学习（REAL）来解决这些问题。为了增强表征，REAL 构建了一个双流基础预训练，随后进行表征增强蒸馏过程。双流基础预训练结合了用于通用特征的自监督对比学习和用于类别特定知识的监督学习，然后通过表征增强蒸馏合并两个流，为后续的 CIL 范式增强表征。为了利用更多来自主干网络的知识，REAL 提出了一个特征融合缓冲区，用于处理多层主干网络特征，为后续的分类器训练提供信息丰富的特征。我们的方法可以融入现有的 ACL 技术，并提供更具竞争力的性能。实验结果表明，REAL 在 CIFAR-100、ImageNet-100 和 ImageNet-1k 基准测试上实现了最先进的性能，超越了无样本方法，并可与基于样本的方法相媲美。
引用
@article{arxiv.2403.13522,
title = {REAL: Representation Enhanced Analytic Learning for Exemplar-free Class-incremental Learning},
author = {Run He and Di Fang and Yizhu Chen and Kai Tong and Cen Chen and Yi Wang and Lap-pui Chau and Huiping Zhuang},
journal= {arXiv preprint arXiv:2403.13522},
year = {2025}
}
备注
13 pages, 7 figures. This paper is published in Knowledge-based System