通过增加表示秩和特征丰富度提升类增量学习中的前向兼容性
机器学习
2025-01-14 v2 计算机视觉与模式识别
摘要
类增量学习（Class Incremental Learning, CIL）是持续学习中的一个关键子领域，旨在使模型能够逐步学习新的分类任务，同时保留从先前任务中获得的知识。尽管以往研究主要侧重于后向兼容方法来缓解灾难性遗忘，但近期研究引入了前向兼容方法，以提升在新任务上的性能，并补充现有的后向兼容方法。在本研究中，我们提出了一种基于有效秩的特征丰富度增强（RFR）方法，旨在提高前向兼容性。具体而言，该方法在基会话期间增加表示的有效秩，从而有助于纳入更多与未见新任务相关的信息性特征。因此，RFR 在后向和前向兼容性方面实现了双重目标：分别最小化特征提取器的修改和提升新任务性能。为验证我们方法的有效性，我们建立了有效秩与表示香农熵之间的理论联系。随后，我们将 RFR 集成到十一种知名的 CIL 方法中进行了全面实验。结果表明，我们的方法在提升新任务性能的同时，有效缓解了灾难性遗忘。此外，我们的方法显著提高了所有十一个案例的平均增量准确率。
引用
@article{arxiv.2403.15517,
title = {Improving Forward Compatibility in Class Incremental Learning by Increasing Representation Rank and Feature Richness},
author = {Jaeill Kim and Wonseok Lee and Moonjung Eo and Wonjong Rhee},
journal= {arXiv preprint arXiv:2403.15517},
year = {2025}
}