查询未标注数据改进并增强类增量学习的鲁棒性
机器学习
2022-06-20 v2 人工智能
摘要
类增量学习（CIL）饱受学习新增类与保留已学类知识之间著名困境的困扰。该灾难性遗忘问题可通过存储历史数据用于回放来缓解，但这会带来内存开销以及不平衡的预测更新。为解决此困境，我们提出在持续学习中利用“免费”的外部未标注数据查询。我们首先提出一种带查询未标注数据的 CIL（CIL-QUD）方案，其中仅存储少量过往训练样本作为锚点，并用它们每次查询相关的未标注样本。连同新数据与过往存储数据，所查询的未标注数据通过无遗忘学习（LwF）正则化项与类平衡训练被有效利用。在保留模型对过往与当前任务泛化能力之外，我们进一步研究了 CIL-QUD 的对抗鲁棒性问题。受近期利用未标注数据学习鲁棒模型成功的启发，我们探索了一种新的鲁棒感知 CIL 设定，其中所学对抗鲁棒性须抵抗遗忘并随新任务持续到来而迁移。现有方案易失败，而我们表明查询未标注数据能持续带来益处，并将 CIL-QUD 无缝扩展为鲁棒化版本 RCIL-QUD。大量实验证明，与先前最先进 CIL 方法相比，CIL-QUD 在 CIFAR-10 与 CIFAR-100 上取得了显著的准确率增益。此外，RCIL-QUD 为鲁棒感知 CIL 建立了首个强劲里程碑。代码见 https://github.com/VITA-Group/CIL-QUD。
引用
@article{arxiv.2206.07842,
title = {Queried Unlabeled Data Improves and Robustifies Class-Incremental Learning},
author = {Tianlong Chen and Sijia Liu and Shiyu Chang and Lisa Amini and Zhangyang Wang},
journal= {arXiv preprint arXiv:2206.07842},
year = {2022}
}
备注
Accepted by TMLR 2022