SPeCiaL：面向持续学习的自监督预训练
计算机视觉与模式识别
2021-06-18 v1 机器学习
摘要
本文提出 SPeCiaL：一种为持续学习量身定制的表示无监督预训练方法。我们的方法设计了一个元学习目标，该目标通过顺序学习过程进行微分。具体而言，我们在表示上训练一个线性模型，以将同一图像的不同增广视图匹配在一起，每个视图按顺序呈现。然后在该线性模型刚看到的图像的分类能力以及来自先前迭代的图像上的表现对其进行评估。这产生了有利于快速知识保留且遗忘最小的表示。我们在持续少样本学习（Continual Few-Shot Learning）设定下评估 SPeCiaL，并表明其可以匹配或优于其他有监督预训练方法。
引用
@article{arxiv.2106.09065,
title = {SPeCiaL: Self-Supervised Pretraining for Continual Learning},
author = {Lucas Caccia and Joelle Pineau},
journal= {arXiv preprint arXiv:2106.09065},
year = {2021}
}