统一自监督学习与动态计算之间的协同作用
机器学习
2023-09-12 v3 计算机视觉与模式识别
摘要
计算代价高昂的训练策略使得自监督学习（SSL）在资源受限的工业环境中难以实用。知识蒸馏（KD）、动态计算（DC）和剪枝等技术常用于获得轻量模型，这通常涉及对大型预训练模型进行多轮微调（或蒸馏步骤），从而带来更大的计算挑战。本文从新视角探讨了 SSL 与 DC 范式之间的相互作用。具体而言，我们表明在 SSL 设置下，无需任何额外的微调或剪枝步骤，即可从零开始同时学习一个稠密子网络和一个门控子网络。稠密编码器与门控编码器在预训练过程中的共同演化提供了良好的精度-效率权衡，从而产生了一种适用于特定应用工业场景的通用多用途架构。在 CIFAR-10/100、STL-10 和 ImageNet-100 等多个图像分类基准上的大量实验表明，所提出的训练策略提供的稠密子网络及相应的门控子网络，在一系列目标预算（td）下，与原始自监督设置相比性能相当，但 FLOPs 计算量显著减少。
引用
@article{arxiv.2301.09164,
title = {Unifying Synergies between Self-supervised Learning and Dynamic Computation},
author = {Tarun Krishna and Ayush K Rai and Alexandru Drimbarean and Eric Arazo and Paul Albert and Alan F Smeaton and Kevin McGuinness and Noel E O'Connor},
journal= {arXiv preprint arXiv:2301.09164},
year = {2023}
}
备注
Accepted in BMVC 2023