基于情景回放蒸馏的增量元学习用于少样本图像识别
计算机视觉与模式识别
2021-11-12 v2
摘要
大多数元学习方法假设存在非常大的标注数据集可用于基础知识的情景式元学习。这与更现实的持续学习范式形成对比，在后者中数据以包含不相交类别的任务形式增量到达。本文考虑这一增量元学习 (IML) 问题，其中类别以离散任务形式增量呈现。我们提出一种称为情景回放蒸馏 (ERD) 的 IML 方法，该方法在采样元学习情景时将当前任务的类别与先前任务的类别样本混合。这些情景随后用于知识蒸馏以最小化灾难性遗忘。在四个数据集上的实验表明 ERD 超越了当前最优水平。特别是在更具挑战性的一样本、长任务序列增量元学习场景中，在 Tiered-ImageNet / Mini-ImageNet / CIFAR100 上，我们将 IML 与联合训练上界之间的差距从当前 SOTA 的 3.5% / 10.1% / 13.4% 分别缩小到我们使用方法的 2.6% / 2.9% / 5.0%。
引用
@article{arxiv.2111.04993,
title = {Incremental Meta-Learning via Episodic Replay Distillation for Few-Shot Image Recognition},
author = {Kai Wang and Xialei Liu and Andy Bagdanov and Luis Herranz and Shangling Jui and Joost van de Weijer},
journal= {arXiv preprint arXiv:2111.04993},
year = {2021}
}