通过神经崩塌增强基于预训练模型的类递增学习
机器学习
2025-04-28 v1 人工智能
摘要
类递增学习（CIL）是实用应用中的关键能力，使学习系统能够在保留先前知识的同时适应新任务。最近的预训练模型（PTM）进展显著推动了 CIL 领域，显示出超越传统方法的优越性能。然而，理解特征在递增任务中如何演化与分布仍是开放挑战。本文通过神经崩塌（NC）——即训练最终阶段观察到的显著现象——的视角，构建 PTM-based CIL 中特征演化的建模方法，后者导致特征空间呈现良好分离、等角结构。我们探讨了 NC 与 CIL 效果性之间的联系，表明将特征分布与 NC 几何对齐可增强捕捉持续学习动态行为的能力。基于此洞察，我们提出一种受神经崩塌启发的基于预训练模型的类递增学习方法（NCPTM-CIL），该方法动态调整特征空间以符合优雅的 NC 结构，从而提升持续学习过程。大量实验表明，NCPTM-CIL 在四个基准数据集上超越了最先进的方法。值得注意的是，当使用 ViT-B/16-IN1K 初始化时，NCPTM-CIL 在 VTAB 上比 runner-up 方法高出 6.73%，在 CIFAR-100 上高出 1.25%，在 OmniBenchmark 上高出 2.5%。
引用
@article{arxiv.2504.18437,
title = {Enhancing Pre-Trained Model-Based Class-Incremental Learning through Neural Collapse},
author = {Kun He and Zijian Song and Shuoxi Zhang and John E. Hopcroft},
journal= {arXiv preprint arXiv:2504.18437},
year = {2025}
}