eTag：基于嵌入蒸馏与任务导向生成的类增量学习
计算机视觉与模式识别
2023-04-21 v1
摘要
类增量学习（CIL）旨在解决神经网络灾难性遗忘问题，即一旦网络在新任务上更新，其在先前已学任务上的性能便会急剧下降。大多数成功的 CIL 方法借助存储的范例或利用存储的原型估计特征分布，来增量式训练特征提取器。然而，存储的范例会违背数据隐私关切，而存储的原型可能不合理地符合恰当的特征分布，阻碍了现实世界 CIL 应用的探索。本文中，我们提出一种用于 CIL 的嵌入蒸馏与任务导向生成（eTag）方法，其既不需要范例也不需要原型。相反，eTag 以无数据方式增量训练神经网络。为防止特征提取器遗忘，eTag 对网络中间块的嵌入进行蒸馏。此外，eTag 使生成网络能够产生合适的特征，以满足顶层增量分类器的需求。实验结果证实，我们所提 eTag 在 CIFAR-100 与 ImageNet-sub 上显著优于最先进的方法。
引用
@article{arxiv.2304.10103,
title = {eTag: Class-Incremental Learning with Embedding Distillation and Task-Oriented Generation},
author = {Libo Huang and Yan Zeng and Chuanguang Yang and Zhulin An and Boyu Diao and Yongjun Xu},
journal= {arXiv preprint arXiv:2304.10103},
year = {2023}
}
备注
12 pages, 12 figures