用于自监督学习的均值漂移算法
计算机视觉与模式识别
2021-09-13 v2
摘要
大多数近期的自监督学习(SSL)算法通过对图像实例进行对比或通过聚类图像再对图像簇进行对比来学习特征。我们提出了一种简单的均值漂移算法，该算法通过将图像分组在一起来学习表征，而无需在图像间进行对比，也无需对簇结构采用过多先验。我们简单地将每幅图像的嵌入“漂移”到其邻居的“均值”附近。由于在 ours 设定中，最近邻始终是同一图像的另一增强样本，当仅使用一个最近邻而非实验中使用的5个时，我们的模型将与BYOL完全相同。我们的模型在ImageNet线性评估中使用ResNet50训练200轮达到了72.4%，优于BYOL。我们的代码可在此获取：https://github.com/UMBCvision/MSF
引用
@article{arxiv.2105.07269,
title = {Mean Shift for Self-Supervised Learning},
author = {Soroush Abbasi Koohpayegani and Ajinkya Tejankar and Hamed Pirsiavash},
journal= {arXiv preprint arXiv:2105.07269},
year = {2021}
}