CYBORGS：通过分割定位自举对比式目标表征
计算机视觉与模式识别
2022-08-17 v2 人工智能
机器学习
摘要
许多近期的对比学习工作致力于缩小在 ImageNet 这类标志性图像上的预训练与在 COCO 这类复杂场景上的预训练之间的差距。这一差距之所以存在，很大程度上是因为常用的随机裁剪增强在包含多样物体的拥挤场景图像中获得了语义不一致的内容。先前的工作使用预处理流程来定位显著物体以改进裁剪，但端到端的解决方案仍难以实现。在本工作中，我们提出一个通过联合学习表征与分割来实现该目标的框架。我们利用分割掩码以依赖于掩码的对比损失训练模型，并使用部分训练的模型自举出更好的掩码。通过在这两个组件间迭代，我们将对比更新立足于分割信息，并在整个预训练过程中同时改进分割。实验表明我们的表征可鲁棒地迁移到分类、检测与分割等下游任务。
引用
@article{arxiv.2203.09343,
title = {CYBORGS: Contrastively Bootstrapping Object Representations by Grounding in Segmentation},
author = {Renhao Wang and Hang Zhao and Yang Gao},
journal= {arXiv preprint arXiv:2203.09343},
year = {2022}
}
备注
Accepted to ECCV 2022