基于渐进任务相关层冻结的高效自监督持续学习
计算机视觉与模式识别
2023-03-15 v1 人工智能
摘要
受自监督学习（SSL）从未标记数据学习视觉表示成功的启发，近期少数工作研究了持续学习（CL）背景下的SSL，其中多个任务被顺序学习，产生了一种新范式，即自监督持续学习（SSCL）。已表明SSCL优于监督持续学习（SCL），因为所学表示更具信息性且对灾难性遗忘更鲁棒。然而，若设计不当，SSCL的训练复杂度可能高得令人望而却步，这源于SSL固有的训练成本。本工作中，通过首先考察SSCL设置中的任务相关性，我们发现一个有趣现象：借助SSL学习的背景模型，中间特征在任务间高度相关。基于这一新发现，我们提出了一种带逐层冻结的新SSCL方法，其针对每个任务渐进冻结具有最高相关比率的部分层，以提升训练计算效率和内存效率。我们在多个数据集上进行了广泛实验，所提方法在各种SSL框架下均展现出优于SoTA SSCL方法的性能。例如，与LUMP相比，我们的方法在三个数据集上分别实现了12%/14%/12%的GPU训练时间减少、23%/26%/24%的内存减少、35%/34%/33%的反向FLOPs减少，以及1.31%/1.98%/1.21%的遗忘减少，且精度无下降。
引用
@article{arxiv.2303.07477,
title = {Efficient Self-supervised Continual Learning with Progressive Task-correlated Layer Freezing},
author = {Li Yang and Sen Lin and Fan Zhang and Junshan Zhang and Deliang Fan},
journal= {arXiv preprint arXiv:2303.07477},
year = {2023}
}