用于表征学习的自监督排序方法
计算机视觉与模式识别
2020-11-23 v2
摘要
我们提出了一种新的自监督表征学习框架，将其表述为在从图像获得的大量随机视图（增广）上的图像检索排序问题。我们的工作基于两点直觉：首先，图像的良好表征必须在检索任务中产生高质量的图像排序；其次，我们期望图像的随机视图比其它图像的随机视图更接近于该图像的参考视图。因此，我们将表征学习建模为图像检索的学习排序问题。我们通过最大化排序的平均精度（AP）来训练表征编码器，其中图像的随机视图被视为正相关，而其他图像的随机视图被视为负样本。这一被称为 S2R2 的新框架能够计算多个视图上的全局目标，而流行的对比学习框架中的局部目标仅在视图对上计算。原则上，通过使用排序准则，我们消除对以对象为中心的精选数据集的依赖。在 STL10 和 MS-COCO 上训练时，S2R2 在概念和实现上都更为简单的情况下优于 SimCLR 和基于聚类的对比学习模型 SwAV。在 MS-COCO 上，S2R2 以比在 STL10 上更大的优势优于 SwAV 和 SimCLR。这表明 S2R2 在多样场景上更有效，并可能消除自监督表征学习对以对象为中心的大型训练数据集的需求。
引用
@article{arxiv.2010.07258,
title = {Self-Supervised Ranking for Representation Learning},
author = {Ali Varamesh and Ali Diba and Tinne Tuytelaars and Luc Van Gool},
journal= {arXiv preprint arXiv:2010.07258},
year = {2020}
}