利用局部与全局表征：一种新的自监督学习策略
计算机视觉与模式识别
2022-04-14 v2
摘要
自监督学习（SSL）方法旨在通过最大化同一图像不同裁剪所提取特征的相似性来学习视角不变表征，而不考虑裁剪尺寸与内容。本质上，该策略忽略了两个裁剪可能确实包含不同图像信息（例如背景与小物体）的事实，因而倾向于抑制所学表征的多样性。在本工作中，我们通过引入一种新的自监督学习策略 LoGo 来解决此问题，该策略显式地对局部与全局裁剪进行推理。为实现视角不变性，LoGo 鼓励同一图像的全局裁剪之间以及全局与局部裁剪之间的相似性。然而，为正确编码较小裁剪内容可能完全不同的事实，LoGo 促使两个局部裁剪具有相异表征，同时接近于全局裁剪。我们的 LoGo 策略可轻易应用于现有 SSL 方法。我们在多种数据集和使用不同自监督学习框架上的大量实验验证了其相对于现有方法的优越性。值得注意的是，当仅使用 1/10 数据时，我们在迁移学习上取得了优于有监督模型的结果。
引用
@article{arxiv.2203.17205,
title = {Leverage Your Local and Global Representations: A New Self-Supervised Learning Strategy},
author = {Tong Zhang and Congpei Qiu and Wei Ke and Sabine Süsstrunk and Mathieu Salzmann},
journal= {arXiv preprint arXiv:2203.17205},
year = {2022}
}
备注
accepted in CVPR 2022