GACL：无样本的广义解析持续学习
机器学习
2024-11-05 v3 计算机视觉与模式识别
摘要
类增量学习(CIL)在顺序任务上训练网络，每个任务包含分离的类别，但会遭受灾难性遗忘，即模型在获取新任务时快速丢失先前学到的知识。广义CIL(GCIL)旨在更真实的场景中解决CIL问题，其中输入数据具有混合的数据类别和未知的样本量分布。现有的GCIL方法要么性能较差，要么通过保存样本来侵犯数据隐私。本文提出了一种新的无样本GCIL技术，称为广义解析持续学习(GACL)。GACL采用解析学习(一种无梯度训练技术)，并为GCIL场景提供了解析(即闭式)解。该解通过将输入数据分解为已暴露类和未暴露类推导得出，从而获得权重不变性——一种罕见但有价值的性质，支持增量学习与其联合训练之间的等价性。这种等价性在GCIL设置中至关重要，因为不同任务之间的数据分布不再对采用我们的GACL构成挑战。理论上，通过矩阵分析工具验证了这种等价性质。实验上，我们进行了大量实验，与现有GCIL方法相比，我们的GACL在各种数据集和GCIL设置中均表现出持续领先的性能。源代码可在https://github.com/CHEN-YIZHU/GACL获取。
引用
@article{arxiv.2403.15706,
title = {GACL: Exemplar-Free Generalized Analytic Continual Learning},
author = {Huiping Zhuang and Yizhu Chen and Di Fang and Run He and Kai Tong and Hongxin Wei and Ziqian Zeng and Cen Chen},
journal= {arXiv preprint arXiv:2403.15706},
year = {2024}
}