DS-AL：一种用于免样本类增量学习的双流解析学习
机器学习
2024-03-27 v1 计算机视觉与模式识别
摘要
免样本约束下的类增量学习（CIL）提出了重大挑战。遵循此约束的现有方法容易发生灾难性遗忘，其程度远超保留对过往样本访问权限的基于回放的技术。本文为解决免样本 CIL 问题，提出一种双流解析学习（DS-AL）方法。DS-AL 包含一个提供解析（即闭式）线性解的主干流，以及一个改善因采用线性映射所导致的固有欠拟合局限性的补偿流。主干流将 CIL 问题重新定义为一个拼接递归最小二乘（C-RLS）任务，使得 CIL 与其联合学习对应任务等价。补偿流由一个双激活补偿（DAC）模块控制。该模块使用与主干流不同的激活函数重新激活嵌入，并通过将嵌入投影到主干流线性映射的零空间来寻求拟合补偿。实验结果表明，尽管 DS-AL 是一种免样本技术，但其在包括 CIFAR-100、ImageNet-100 和 ImageNet-Full 在内的多种数据集上，性能可与基于回放的方法相媲美甚至更优。此外，C-RLS 的等价性质使 DS-AL 能够以阶段不变的方式执行 CIL。这由一个前所未有的 500 阶段 CIL ImageNet 任务所证实，其性能与 5 阶段任务相同。我们的代码可在 https://github.com/ZHUANGHP/Analytic-continual-learning 获取。
引用
@article{arxiv.2403.17503,
title = {DS-AL: A Dual-Stream Analytic Learning for Exemplar-Free Class-Incremental Learning},
author = {Huiping Zhuang and Run He and Kai Tong and Ziqian Zeng and Cen Chen and Zhiping Lin},
journal= {arXiv preprint arXiv:2403.17503},
year = {2024}
}
备注
Accepted in AAAI 2024