少样本终身学习
计算机视觉与模式识别
2021-03-02 v1
摘要
许多现实世界的分类问题往往具有仅含极少标注训练样本的类。此外，所有可能的类可能最初并不可用于训练，而是增量给出的。深度学习模型需要处理这一双重问题以在真实情境中表现良好。本文中，我们提出一种新颖的少样本终身学习(FSLL)方法，使深度学习模型能够对少样本数据进行终身/持续学习。我们的方法为每个新类集合仅从模型中选取极少参数进行训练，而非训练整个模型。这有助于防止过拟合。我们以仅当前不重要的参数被选取的方式从模型中选择少数参数。通过保持模型中重要参数不变，我们的方法最小化了灾难性遗忘。此外，我们最小化新类与原型与旧类原型之间的余弦相似度以最大化其分离度，从而提升分类性能。我们还展示了将我们的方法与自监督结合可显著提升模型性能。我们通过实验表明，我们的方法在miniImageNet、CIFAR-100和CUB-200数据集上显著优于现有方法。具体而言，在CUB数据集上我们以19.27%的绝对优势超越SOTA方法。
引用
@article{arxiv.2103.00991,
title = {Few-Shot Lifelong Learning},
author = {Pratik Mazumder and Pravendra Singh and Piyush Rai},
journal= {arXiv preprint arXiv:2103.00991},
year = {2021}
}
备注
Accepted in AAAI2021