DSPNet：基于判别性自监督学习的可瘦身预训练网络
计算机视觉与模式识别
2022-07-14 v1
摘要
自监督学习(SSL)已取得有前景的下游性能。然而，在面对真实应用中各种资源预算时，逐个预训练多种尺寸的网络会带来巨大的计算负担。本文提出基于判别性SSL的可瘦身预训练网络(DSPNet)，可一次性训练并随后瘦身至多种尺寸的子网络，每个子网络均能忠实学习良好表征，并可作为具有各种资源预算的下游任务的良好初始化。具体而言，我们通过优雅地整合SSL与知识蒸馏，将可瘦身网络的思想扩展到判别性SSL范式。我们在ImageNet上展示了DSPNet在线性评估与半监督评估协议下与逐个单独预训练的网络相当或更优的性能，同时大幅降低了训练成本。预训练模型在下游检测与分割任务上也泛化良好。代码将公开。
引用
@article{arxiv.2207.06075,
title = {DSPNet: Towards Slimmable Pretrained Networks based on Discriminative Self-supervised Learning},
author = {Shaoru Wang and Zeming Li and Jin Gao and Liang Li and Weiming Hu},
journal= {arXiv preprint arXiv:2207.06075},
year = {2022}
}