类梯度投影用于持续学习
计算机视觉与模式识别
2023-11-28 v1
摘要
灾难性遗忘是持续学习（CL）中最关键的挑战之一。近期方法通过将梯度更新投影到现有任务梯度子空间的正交方向来解决此问题。尽管结果令人瞩目，这些方法忽略了一个事实：由于任务中类的偏差（例如区分“男人”与“海” versus 区分“男孩”与“女孩”），这些计算出的梯度无法保证与每个类的梯度子空间正交。因此，该策略仍可能导致某些类的灾难性遗忘。本文中，我们提出类梯度投影（CGP），它从单个类而非任务计算梯度子空间。与现有类的梯度子空间正交的梯度更新可有效用于最小化来自其他类的干扰。为提升泛化性与效率，我们进一步设计了一种基 refining（BR）算法，以合并相似类并动态精炼类基。此外，我们利用对比学习方法提升模型处理未见任务的能力。在基准数据集上的大量实验证明了我们方法的有效性。它在 CIFAR-100 数据集上将先前方法提升了 2.0%。
引用
@article{arxiv.2311.14905,
title = {Class Gradient Projection For Continual Learning},
author = {Cheng Chen and Ji Zhang and Jingkuan Song and Lianli Gao},
journal= {arXiv preprint arXiv:2311.14905},
year = {2023}
}
备注
MM '22: Proceedings of the 30th ACM International Conference on Multimedia