重新审视类增量学习中的灾难性遗忘
计算机视觉与模式识别
2021-11-23 v5
摘要
尽管灾难性遗忘的概念直白易懂，但对其成因缺乏研究。在本文中，我们系统性地探索并揭示了类增量学习（CIL）中灾难性遗忘的三个成因。从表征学习的视角看，（i）当学习器未能随训练推进正确对齐同阶段数据时，发生阶段内遗忘；（ii）当学习器将当前阶段数据与前一阶段数据混淆时，发生阶段间混淆。从任务特定的角度看，CIL 模型遭受（iii）分类器偏移的问题。在调研现有策略后，我们观察到缺乏关于如何预防阶段间混淆的研究。为启动针对该特定问题的研究，我们提出了一种简单而有效的框架——用于 CIL 的对比类集中（C4IL）。我们的框架利用对比学习的类集中效应，产生具有更好类内紧凑性与类间可分性的表征分布。经验上，我们观察到 C4IL 显著降低了阶段间混淆的概率，并因此在多个数据集的多个 CIL 设定上提升了性能。
引用
@article{arxiv.2107.12308,
title = {Revisiting Catastrophic Forgetting in Class Incremental Learning},
author = {Zixuan Ni and Haizhou Shi and Siliang Tang and Longhui Wei and Qi Tian and Yueting Zhuang},
journal= {arXiv preprint arXiv:2107.12308},
year = {2021}
}