用于类增量学习的类增量范例压缩
计算机视觉与模式识别
2023-04-11 v2
摘要
基于范例的类增量学习(CIL)在每个增量阶段使用所有新类样本但少量旧类少样本范例微调模型，其中“少样本”受限于固定内存预算。在本文中，我们基于一个简单却惊人有效的想法打破了这一“少样本”限制：通过对非判别性像素下采样来压缩范例，并在内存中保存“多样本”压缩范例。无需任何人工标注，我们通过从类激活图(CAM)在判别性像素上生成 0-1 掩码来实现该压缩。我们提出一种称为类增量掩码(CIM)的自适应掩码生成模型，以显式解决使用 CAM 的两个困难：1) 以任意阈值将 CAM 的热图转换为 0-1 掩码会在判别性像素覆盖率和范例数量之间导致权衡，因为总内存固定；2) 最优阈值因不同对象类而异，这在 CIL 的动态环境中尤为明显。我们通过一个双层优化问题将 CIM 模型与传统 CIL 模型交替优化。我们在高分辨率 CIL 基准(包括 Food-101、ImageNet-100 和 ImageNet-1000)上进行大量实验，表明使用 CIM 压缩的范例可达到新的最先进 CIL 准确率，例如，在 10 阶段 ImageNet-1000 上比 FOSTER 高 4.8 个百分点。我们的代码见于 https://github.com/xfflzl/CIM-CIL。
引用
@article{arxiv.2303.14042,
title = {Class-Incremental Exemplar Compression for Class-Incremental Learning},
author = {Zilin Luo and Yaoyao Liu and Bernt Schiele and Qianru Sun},
journal= {arXiv preprint arXiv:2303.14042},
year = {2023}
}
备注
Accepted to CVPR 2023