R-DFCIL：面向无数据类增量学习的关联引导表示学习
计算机视觉与模式识别
2022-07-22 v2
摘要
类增量学习(CIL)在学习新知识时面临灾难性遗忘问题，而无数据类增量学习(DFCIL)由于无法访问已学类的训练数据而更具挑战性。尽管近期DFCIL工作引入了模型反演等技术来合成先前类的数据，但由于合成数据与真实数据间严重的域差距，它们未能克服遗忘。为解决此问题，本文提出用于DFCIL的关联引导表示学习(RRL)，称为R-DFCIL。在RRL中，我们引入关系知识蒸馏，以灵活地将新数据的结构关系从旧模型迁移到当前模型。我们经RRL增强的DFCIL可引导当前模型学习到与先前类表示更兼容的新类表示，在提升可塑性的同时极大减少遗忘。为避免表示学习与分类器学习间的相互干扰，我们在RRL期间采用局部而非全局分类损失。RRL之后，使用全局类平衡分类损失精炼分类头，以解决数据不平衡问题并学习新类与先前类间的决策边界。在CIFAR100、Tiny-ImageNet200和ImageNet100上的大量实验表明，我们的R-DFCIL显著超越先前方法，取得了DFCIL新的SOTA性能。代码见 https://github.com/jianzhangcs/R-DFCIL
引用
@article{arxiv.2203.13104,
title = {R-DFCIL: Relation-Guided Representation Learning for Data-Free Class Incremental Learning},
author = {Qiankun Gao and Chen Zhao and Bernard Ghanem and Jian Zhang},
journal= {arXiv preprint arXiv:2203.13104},
year = {2022}
}
备注
Accepted to ECCV 2022