自监督预训练改进自监督预训练
计算机视觉与模式识别
2021-03-26 v2
摘要
尽管自监督预训练已被证明对许多计算机视觉任务有益，但它需要昂贵且耗时的计算、大量数据，并且对数据增强敏感。先前的工作表明，在与目标数据不同的数据集上预训练的模型（例如在 ImageNet 上训练的胸部 X 光模型）表现不如从头训练的模型。缺乏预训练资源的用户必须使用性能较低的现有模型。本文探索了分层预训练（HPT），它通过用现有的预训练模型初始化预训练过程来减少收敛时间并提高准确率。通过在 16 个多样化视觉数据集上的实验，我们表明 HPT 收敛速度最高快 80 倍，提高了跨任务的准确率，并提升了自监督预训练过程对图像增强策略或预训练数据量变化的鲁棒性。总之，HPT 提供了一个简单的框架，以更少的计算资源获得更好的预训练表征。
引用
@article{arxiv.2103.12718,
title = {Self-Supervised Pretraining Improves Self-Supervised Pretraining},
author = {Colorado J. Reed and Xiangyu Yue and Ani Nrusimha and Sayna Ebrahimi and Vivek Vijaykumar and Richard Mao and Bo Li and Shanghang Zhang and Devin Guillory and Sean Metzger and Kurt Keutzer and Trevor Darrell},
journal= {arXiv preprint arXiv:2103.12718},
year = {2021}
}