从动态不平衡学习视角重新思考类递增学习
计算机视觉与模式识别
2024-05-27 v1
摘要
深度神经网络在持续学习新概念时会遭受到灾�性遗忘。在本文中，我们从数据不平衡的角度对此问题进行分析。我们认为，旧任务与新任务数据之间的不平衡是导致旧任务遗忘的原因。此外，递增学习期间不平衡比例的增加进一步恶化了这一问题。为了解决动态不平衡问题，我们提出了统一原型对比学习（Uniform Prototype Contrastive Learning, UPCL），其中学习到统一且紧凑的特征。具体而言，我们在每个任务开始前生成一组不可学习的统一原型。然后我们将这些统一原型分配给每个类别，通过原型对比学习指导特征学习。我们还动态调整旧类与新类之间的相对间距，以保持特征分布的平衡和紧凑。最后，我们通过广泛的实验表明，所提出的方法在包括 CIFAR100、ImageNet100 和 TinyImageNet 在内的多个基准数据集上实现了状态-of-the-art 性能。
引用
@article{arxiv.2405.15157,
title = {Rethinking Class-Incremental Learning from a Dynamic Imbalanced Learning Perspective},
author = {Leyuan Wang and Liuyu Xiang and Yunlong Wang and Huijia Wu and Zhaofeng He},
journal= {arXiv preprint arXiv:2405.15157},
year = {2024}
}