无块对应关系的块级对比用于准确稠密对比表示学习
计算机视觉与模式识别
2023-06-26 v1
摘要
我们提出ADCLR：准确且稠密的对比表示学习（A ccurate and D ense Contrastive Representation Learning），一种用于学习准确且稠密视觉表示的新颖自监督学习框架。为提取空间敏感信息，ADCLR在全局对比之外引入查询块进行对比。与先前的稠密对比方法相比，ADCLR主要具有三点优势：i）同时获得全局判别性与空间敏感性表示，ii）模型高效（相较于全局对比基线无额外参数），以及 iii）无需对应关系因而更易实现。我们的方法在对比方法中取得了新的SOTA性能。在分类任务上，对于ViT-S，ADCLR在ImageNet上通过线性探测取得77.5%的top-1准确率，比未以我们设计技术作为插件的基线（DINO）高出0.5%。对于ViT-B，ADCLR在ImageNet上通过线性探测与微调分别取得79.8%、84.0%准确率，比iBOT分别高出0.3%、0.2%准确率。对于稠密任务，在MS-COCO上，ADCLR在目标检测上取得44.3% AP、在实例分割上取得39.7% AP的显著提升，分别比先前SOTA方法SelfPatch高出2.2%与1.2%。在ADE20K上，ADCLR在分割上比SelfPatch高出1.0% mIoU、1.2% mAcc
引用
@article{arxiv.2306.13337,
title = {Patch-Level Contrasting without Patch Correspondence for Accurate and Dense Contrastive Representation Learning},
author = {Shaofeng Zhang and Feng Zhu and Rui Zhao and Junchi Yan},
journal= {arXiv preprint arXiv:2306.13337},
year = {2023}
}