通用可瘦缩自监督学习的三个必知准则
计算机视觉与模式识别
2023-03-14 v1 机器学习
摘要
我们提出通用可瘦缩自监督学习（称为 US3L），以在不同设备上部署自监督模型时实现更好的精度-效率权衡。我们观察到，将自监督学习（SSL）直接适配到通用可瘦缩网络时会出现异常，训练过程频繁崩溃。随后我们发现，时间一致性引导是 SSL 在通用可瘦缩网络中成功的关键，并从统一的梯度视角提出了损失设计的三个准则以确保该时间一致性。此外，我们提出动态采样与分组正则化策略，以同时提升训练效率与精度。我们的 US3L 方法已在卷积神经网络与视觉 transformer 上得到实证验证。仅需一次训练和一份权重副本，我们的方法在包括识别、目标检测与实例分割在内的基准上优于多种最先进方法（无论是否单独训练）。我们的代码已发布于 https://github.com/megvii-research/US3L-CVPR2023。
引用
@article{arxiv.2303.06870,
title = {Three Guidelines You Should Know for Universally Slimmable Self-Supervised Learning},
author = {Yun-Hao Cao and Peiqin Sun and Shuchang Zhou},
journal= {arXiv preprint arXiv:2303.06870},
year = {2023}
}
备注
Accepted to CVPR 2023