神经坍缩终态：类增量学习及其变体的统一解决方案
机器学习
2023-08-04 v1 计算机视觉与模式识别
摘要
如何使模型对新类具备可学习性，同时保持对旧类的良好能力，一直是类增量学习的关键挑战。除常规情形外，长尾类增量学习和少样本类增量学习分别考虑了数据不平衡与数据稀缺问题，这些在真实部署中十分常见，并进一步加剧了著名的灾难性遗忘问题。现有方法专门针对这三项任务之一而提出。本文为这三项任务中的错位困境提供了统一解决方案。具体而言，我们提出神经坍缩终态（neural collapse terminus），这是一种具有最大等角类间分离的固定结构，覆盖整个标签空间。它作为增量训练全程的一致目标，以避免逐步划分特征空间。针对 CIL 与 LTCIL，我们进一步提出原型演化方案，将骨干网络特征平滑地驱动至我们的神经坍缩终态。我们的方法仅需微小适配即可用于 FSCIL。理论分析表明，无论数据不平衡或数据稀缺，我们的方法都以增量方式保持神经坍缩最优性。我们还设计了一个泛化情形：不知道类别总数，也不知道每个到来会话的数据分布是正常、长尾还是少样本，以检验方法的泛化能力。我们在多个数据集上进行了充分实验，证明了我们的统一方案对全部三项任务及泛化情形的有效性。
引用
@article{arxiv.2308.01746,
title = {Neural Collapse Terminus: A Unified Solution for Class Incremental Learning and Its Variants},
author = {Yibo Yang and Haobo Yuan and Xiangtai Li and Jianlong Wu and Lefei Zhang and Zhouchen Lin and Philip Torr and Dacheng Tao and Bernard Ghanem},
journal= {arXiv preprint arXiv:2308.01746},
year = {2023}
}
备注
An extension of our ICLR 2023 paper https://openreview.net/pdf?id=y5W8tpojhtJ. arXiv admin note: text overlap with arXiv:2302.03004