异构对比学习：为紧凑视觉表示编码空间信息
计算机视觉与模式识别
2020-11-20 v1 机器学习
摘要
对比学习在自监督视觉表示学习中已取得巨大成功，但现有方法大多忽略了空间信息，而空间信息对视觉表示往往至关重要。本文提出异构对比学习（HCL），一种有效的方法，在编码阶段加入空间信息，以缓解对比目标与强数据增强操作之间的学习不一致性。我们通过以下方面证明 HCL 的有效性：(i) 在实例判别中达到更高准确率；(ii) 在一系列下游任务中超越现有预训练方法，同时将预训练成本缩减一半。更重要的是，我们表明我们的方法在视觉表示中实现了更高效率，从而传递了一个关键信息以启发未来自监督视觉表示学习的研究。
引用
@article{arxiv.2011.09941,
title = {Heterogeneous Contrastive Learning: Encoding Spatial Information for Compact Visual Representations},
author = {Xinyue Huo and Lingxi Xie and Longhui Wei and Xiaopeng Zhang and Hao Li and Zijie Yang and Wengang Zhou and Houqiang Li and Qi Tian},
journal= {arXiv preprint arXiv:2011.09941},
year = {2020}
}
备注
10 pages, 4 figures, 6 tables