通过熵正则化无数据重放的小样本类增量学习
计算机视觉与模式识别
2022-07-25 v1
摘要
小样本类增量学习（FSCIL）旨在使深度学习系统能以有限数据增量学习新类。最近，有先驱声称类增量学习（CIL）中常用的基于重放的方法无效，因而FSCIL不偏好此方法。若属实，这对FSCIL领域有重大影响。本文中我们通过实证结果表明采用数据重放出人意料地有利。然而，存储和重放旧数据会导致隐私问题。为解决此问题，我们转而提出使用无数据重放，其可通过生成器合成数据而无需访问真实数据。观察到不确定数据对知识蒸馏的有效性，我们在生成器训练中施加熵正则化以鼓励更多不确定样本。此外，我们提出用类单热标签重新标记生成数据。该修改使网络仅通过最小化交叉熵损失学习，缓解了常规知识蒸馏方法中平衡不同目标的问题。最后，我们在CIFAR-100、miniImageNet和CUB-200上展示广泛的实验结果与分析，以证明我们所提方法的有效性。
引用
@article{arxiv.2207.11213,
title = {Few-Shot Class-Incremental Learning via Entropy-Regularized Data-Free Replay},
author = {Huan Liu and Li Gu and Zhixiang Chi and Yang Wang and Yuanhao Yu and Jun Chen and Jin Tang},
journal= {arXiv preprint arXiv:2207.11213},
year = {2022}
}
备注
Accepted by ECCV 2022