简即为优：基于预训练骨干网络的即用型持续学习
计算机视觉与模式识别
2022-05-24 v2
摘要
在这篇短文中，我们利用预训练模型的强大能力，为计算机视觉问题的持续学习提出了一个基线（即用型）方法。通过这种方式，我们设计了一种简单的方法，在大多数常见基准上取得了强劲的性能。我们的方法速度很快，因为不需要更新参数，且内存需求极小（KB 量级）。具体而言，“训练”阶段对数据重新排序，并利用预训练模型的能力计算类原型并填充记忆库。在推理时，我们通过类 knn 的方法匹配最近的原型，从而得到预测。我们将看到这种朴素方案如何作为一个即用型持续学习系统发挥作用。为了更好地巩固我们的结果，我们将所设计的流程与常见的 CNN 模型进行比较，并展示了 Vision Transformers 的优越性，表明此类架构能够生成更高质量的特征。此外，这一简单流程提出了与先前工作 \cite{gdumb} 相同的疑问，即 CL 社区所取得的实质性进展，特别是在所考虑的数据集和预训练模型的使用方面。代码见 https://github.com/francesco-p/off-the-shelf-cl
引用
@article{arxiv.2205.01586,
title = {Simpler is Better: off-the-shelf Continual Learning Through Pretrained Backbones},
author = {Francesco Pelosin},
journal= {arXiv preprint arXiv:2205.01586},
year = {2022}
}
备注
Accepted at "T4V: Transformers for Vision Workshop" at CVPR2022