无蒸馏条件下低算力网络上的有效自监督预训练
计算机视觉与模式识别
2023-10-04 v2
摘要
尽管自监督学习（SSL）取得了令人印象深刻的进展，但其在低算力网络上的适用性受到的关注有限。已报道的性能大幅落后于标准监督预训练，阻碍了自监督学习对设备上部署模型产生影响。多数先前工作将这种较差性能归因于低算力网络的容量瓶颈，并选择通过知识蒸馏（KD）绕过该问题。在本工作中，我们重新审视面向高效神经网络的自监督学习，仔细考察造成实际局限的有害因素，以及它们是否为自监督低算力设置所固有。我们发现，与公认认知相反，并不存在内在的架构瓶颈；我们诊断出性能瓶颈与模型复杂度对正则化强度的权衡有关。具体而言，我们首先通过经验观察发现，局部视图的使用会对 SSL 方法的有效性产生显著影响。这暗示视图采样是低容量网络 SSL 的性能瓶颈之一。我们假设，用于大型神经网络的视图采样策略需要在非常多样的空间尺度和上下文下匹配视图，这对低容量架构要求过高。我们将视图采样机制的设计系统化，从而得到一种新训练方法，在不同 SSL 方法（如 MoCo-v2、SwAV、DINO）、不同低尺寸网络（如 MobileNetV2、ResNet18、ResNet34、ViT-Ti）和不同任务（线性探测、目标检测、实例分割和半监督学习）上一致地提升性能。我们的最佳模型在不使用 KD 损失项的情况下，确立了低算力网络上 SSL 方法的新 SOTA。
引用
@article{arxiv.2210.02808,
title = {Effective Self-supervised Pre-training on Low-compute Networks without Distillation},
author = {Fuwen Tan and Fatemeh Saleh and Brais Martinez},
journal= {arXiv preprint arXiv:2210.02808},
year = {2023}
}
备注
ICLR 2023 Camera Ready. Code is publicly available at https://github.com/saic-fi/SSLight