用于无范例类增量学习的自蒸馏知识委派器
计算机视觉与模式识别
2022-05-24 v1
摘要
由于无法访问旧任务数据，无范例增量学习极具挑战性。本文中，我们试图利用先前训练的分类模型中编码的知识来处理持续学习中的灾难性遗忘问题。具体而言，我们引入所谓的知识委派器，其能够通过生成信息样本将知识从训练好的模型迁移至随机重新初始化的新模型。在仅给定先前模型的情况下，该委派器以无数据方式借助自蒸馏机制得到有效学习。委派器提取的知识随后被用于维持增量学习中模型在旧任务上的性能。这一简洁的增量学习框架在四个广泛使用的类增量基准（即CIFAR-100、ImageNet-Subset、Caltech-101与Flowers-102）上大幅超越现有无范例方法。值得注意的是，我们在不访问任何范例的情况下取得了与某些基于范例的方法相当的性能。
引用
@article{arxiv.2205.11071,
title = {Self-distilled Knowledge Delegator for Exemplar-free Class Incremental Learning},
author = {Fanfan Ye and Liang Ma and Qiaoyong Zhong and Di Xie and Shiliang Pu},
journal= {arXiv preprint arXiv:2205.11071},
year = {2022}
}
备注
Accepted by IJCNN 2022