类增量学习中的任务混淆与灾难性遗忘：判别式与生成式建模的数学框架
机器学习
2024-10-29 v1
摘要
在类增量学习（class-IL）中，模型必须在测试时在没有任务 ID 的情况下对所有先前见过的类别进行分类，从而导致任务混淆。尽管任务混淆是一个关键挑战，但目前仍缺乏理论上的理解。我们提出了一个针对 class-IL 的新型数学框架，并证明了不可行性定理，表明由于任务混淆，判别式建模无法实现最优的 class-IL。然而，我们建立了可行性定理，证明生成式建模可以通过克服任务混淆来实现最优的 class-IL。随后，我们利用该框架评估了流行的 class-IL 策略，包括正则化、偏差校正、重放和生成式分类器。我们的分析表明，采用生成式建模（用于生成式重放或直接分类（生成式分类器））对于实现最优的 class-IL 至关重要。
引用
@article{arxiv.2410.20768,
title = {Task Confusion and Catastrophic Forgetting in Class-Incremental Learning: A Mathematical Framework for Discriminative and Generative Modelings},
author = {Milad Khademi Nori and Il-Min Kim},
journal= {arXiv preprint arXiv:2410.20768},
year = {2024}
}
备注
30 pages, 15 figures, Camera-Ready NeurIPS 2024