一种用于自监督学习的嵌入动态方法
计算机视觉与模式识别
2022-07-11 v1 机器学习
摘要
近期若干自监督学习方法在图像分类及其他任务上展现出令人印象深刻的性能。人们使用了种类繁多的技术，但往往并不清楚其增益背后的原因，尤其在组合使用时。在此，我们将图像的嵌入视为点粒子，并将模型优化视为该粒子系统上的动态过程。我们的动态模型结合了相似图像间的吸引力、避免局部坍缩的局部离散力，以及实现粒子全局均匀分布的全局离散力。该动态视角凸显了使用延迟参数图像嵌入（如 BYOL）与同一图像多视图的优势。它还采用了一种纯动态的局部离散力（布朗运动），相比其他方法性能更优且无需获知其他粒子坐标。该方法称为 MSBReg，意为：(i) 多视图质心损失，对不同的图像视图嵌入施加吸引力以拉向其质心；(ii) 奇异值损失，推动粒子系统趋向空间均匀密度；(iii) 布朗扩散损失。我们在 ImageNet 上评估了 MSBReg 的下游分类性能，以及包括细粒度分类、多类物体分类、目标检测与实例分割在内的迁移学习任务。此外，我们还表明将我们的正则化项应用于其他方法可进一步提升其性能，并通过防止模式坍缩来稳定训练。
引用
@article{arxiv.2207.03552,
title = {An Embedding-Dynamic Approach to Self-supervised Learning},
author = {Suhong Moon and Domas Buracas and Seunghyun Park and Jinkyu Kim and John Canny},
journal= {arXiv preprint arXiv:2207.03552},
year = {2022}
}
备注
24 pages, 3 figures, submitted to CVPR 2022